EP4364108A1 - Méthode d'analyse de la qualité optique d'un vitrage, méthode de calibration d'une caméra, vitrage analysé - Google Patents

Méthode d'analyse de la qualité optique d'un vitrage, méthode de calibration d'une caméra, vitrage analysé

Info

Publication number
EP4364108A1
EP4364108A1 EP22744805.7A EP22744805A EP4364108A1 EP 4364108 A1 EP4364108 A1 EP 4364108A1 EP 22744805 A EP22744805 A EP 22744805A EP 4364108 A1 EP4364108 A1 EP 4364108A1
Authority
EP
European Patent Office
Prior art keywords
pattern
points
image
glazing
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22744805.7A
Other languages
German (de)
English (en)
Inventor
Jean-Baptiste LAUDEREAU
Théo RYBARCZYK
Tatiana SEVERIN-FABIANI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saint Gobain Glass France SAS
Compagnie de Saint Gobain SA
Original Assignee
Saint Gobain Glass France SAS
Compagnie de Saint Gobain SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saint Gobain Glass France SAS, Compagnie de Saint Gobain SA filed Critical Saint Gobain Glass France SAS
Publication of EP4364108A1 publication Critical patent/EP4364108A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • TITLE Method for analyzing the optical quality of glazing, method for calibrating a camera, glazing analyzed
  • the invention relates to a method for analyzing the optical quality of a region of a glazing, said region being intended to be placed in front of an acquisition or measurement device such as a camera.
  • the invention thus relates to a method for calibrating a camera from said analysis method and a glazing thus analyzed.
  • the invention is particularly suitable for measuring the optical quality of a delimited zone of the glazing of a transport vehicle, such as a car or airplane windshield, in front of which an optical image recording device or a device for measuring the environment outside the vehicle is placed for the operation of an intelligent system for assisting the driving of said vehicle.
  • ADAS intelligent driver assistance System
  • ADAS autonomous driver assistance System
  • these on-board systems can provide real-time information on the state of road traffic and/or on the state of equipment and mechanical and/or electrical elements of the vehicle, assess the state of fatigue or distraction of the driver, detecting and anticipating possible threats from the environment outside the vehicle, or even helping the driver to carry out certain difficult maneuvers such as overtaking other vehicles or parking.
  • these systems integrate numerous devices or sensors making it possible to collect data on the driver, the vehicle and/or on their environment.
  • Some systems such as parking assistance systems, autonomous driving systems or even collision anticipation systems, implement one or more optical image acquisition devices or speed measurement devices. environment outside the vehicle.
  • These devices are generally placed in the enclosure of the vehicle, behind one of the windows of said vehicle, said window then generally having a protective function for this device. They can also be incorporated directly into the glazing, for example between two sheets of glass of laminated glazing, one of which is provided with a cavity to accommodate it.
  • the glazing can be any of the usual glazings of the vehicle: windshield, rear window, side glazings. Most often the optical devices are placed behind the windshield in order to acquire information from the front of the vehicle.
  • the information or data acquired by the devices are processed by embedded systems to obtain the desired functionality.
  • the intelligent on-board systems which implement optical recording devices or measuring devices arranged behind the glazing it is necessary for the data acquired by said optical devices to be reliable, i.e. say free of any artefact.
  • said glazing must have sufficient optical quality in order to avoid defects and/or optical aberrations such as aberrations of sphericity, chromatism, astigmatism, coma.
  • These devices are generally arranged behind inclined glazing and, in the majority of cases in an area of the glazing delimited by decorative elements making it possible to hide from view from outside the vehicles the elements of said devices apart from their active elements for the acquisition of images or the measurement of any other parameter.
  • the delimited zones can also include on their surface functional elements which are directly placed in the acquisition or measurement fields of the acquisition or measurement devices. These elements can, for example, be networks of heating wires with different geometries, or even functional layers with optical or thermal properties. These functional elements also cause optical distortions.
  • the glazings comprising a delimited zone intended to be placed in front of an acquisition or measurement device are manufactured before the integration of said device. It is therefore necessary to check the optical quality of the delimited zone in order to prevent the presence of optical distortions from being the cause of harmful artefacts in the images or signals acquired by these devices.
  • the state of the art describes many methods for checking or measuring the optical quality of glazing, in particular windshields for vehicles.
  • an object of the invention is to propose a method for analyzing the optical quality of a region of a glazing (perforated or not perforated) without the aforementioned drawbacks, thus easier to implement industrially (target at more short distance than the working distance -object detection distance etc-, simple equipment at a reasonable price which is used for any type of camera, whatever the working distance%) without sacrificing measurement accuracy.
  • a first object of the invention is to propose a method for analyzing the optical quality of a region of a glazing (in particular curved and/or laminated) in particular of a land, rail or aeronautical vehicle, in particular a windshield.
  • a limited zone transmission window
  • the glazing having a through hole filled with an insert (transparent to the working wavelength of ADAS) or a partial hole (on the internal glass sheet of a laminated glazing) optionally with an insert (transparent to the length of ADAS working wave), from image analysis of a pattern including: 1) a (first) digital image acquisition step comprising:
  • a first fixed (and illuminated) pattern M1 comprising a first set of (contrasted) patterns extending along two dimensions (X, Y orthogonal in particular Y vertical axis), of preferably 2D patterns - in particular on a first panel (in particular plane) -, at a distance L1 at least centimeter and preferably at most 5 m from an optical device for acquiring (digital) images along the optical axis (Z) of the optical device, in particular at least 10 or 50 or better still at least 100 patterns in the depth of field, acquisition thus comprising, in any order, the following sub-steps: la) the provision of a first reference image h, theoretical or acquired, of the first pattern M1 (simulated or physical) preferably in the depth of field of the optical device, in the absence of said glazing,
  • the glazing being placed between the optical device and the first pattern M1, with said surface region in the field of view of the optical device, the acquisition of a first deformed image i of said first pattern M1 ( physical), in particular image distortion induced by said region, glazing inclined at a first angle preferably identical to the angle of the glazing or +/-5° or +/- 1° in the position mounted in a vehicle
  • test pattern Mi at a distance L2 distinct from L1 of the optical device, preferably L2- L1 in absolute value is at least 1 cm or 10 cm or 20cm, acquisition thus comprising, in any order, the following sub-steps: lb) the provision of a second reference image I2, theoretical or acquired, of the target Mi (simulated or physical), preferably in the depth of field of the optical device, in the absence of said glazing
  • the glazing being placed between the optical device and the target Mi, with said region in the field of view of the optical device, the acquisition of a second deformed image G2 of the target Mi (physical), preferably glazing inclined following a second angle preferably identical or substantially identical to the first angle, the following sub-steps: 1a) to 1'b) being in any order, with the possible acquisitions 1a) and 1b) possibly being simultaneous and/or with the acquisitions 1'a) and 1'b) possibly simultaneous.
  • reference images I1, I2 they can be pre-recorded acquired images (acquired well in advance), theoretical images (simulated by computer) or images acquired in the same sequence of acquisitions as the distorted images l'1 , G2.
  • first theoretical or acquired reference image 11 (respectively the second theoretical or acquired image I2) and then make a series of acquisitions of deformed images with different glazings (in “batch”) consecutively for the first chart M1 and for the chart Mi.
  • the method comprises: 2) a step for generating image points in pixels (points marked on the images) which are:
  • the image points are preferably points of interest (or remarkable) of the patterns, or notably central points of portions of a region containing a pattern that can be recognized.
  • Image points can be in any zone of the image that one is able to locate on the reference image 11 and on the deformed image l'1 (respectively I2 and G2).
  • step 3 it includes:
  • the method according to the invention thus makes it possible to deduce, to predict a field of apparent displacements simulated for a distance L3 which can be very large from measurements and calculations of apparent displacement fields at distances L1, L2 chosen in fashion.
  • the simulated apparent displacement field provides information on the quality of the glazing and will make it possible to calibrate a camera, i.e. to correct the deformations on the image in real time.
  • the glazing may preferably be inclined relative to the optical axis of the digital optical device at an angle corresponding to the angle provided in the use of said glazing in a vehicle, and the angle is identical during 1'a) and 1'b).
  • steps 1) and 2) and 2) and 3) can be intertwined.
  • An image is needed to be able to analyze it but the analysis of this image can begin during the supply or acquisition of other images l '1 , I2 etc.
  • the carrier panels M1 or M2 are not necessarily strictly in a plane orthogonal to the optical axis.
  • the distance L1 and L2 are measured along the optical axis, between the camera and the point of the staff that intersects the optical axis.
  • Each pattern is illuminated by any known means: backlighting, side lighting (spotlights, ambient light).
  • Each target is fixed (immobile during acquisition).
  • the patterns are discernible.
  • the patterns are opaque or transparent, colored or colorless, identical or distinct.
  • Patterns can be disjoint.
  • the patterns can be of any shape, geometric (disk, oval, etc.) of size adapted to the desired resolution and depending on the size of the pixels of the sensors of the optical device.
  • the patterns can form a regular and even periodic arrangement of disjointed patterns: network with a mesh of given shape (hexagonal square, etc.).
  • the pattern can be a tiling of two patterns of different colors (rectangular, square, etc.) alternately, for example the pattern can be a checkerboard of black and white or colored and transparent.
  • 2D patterns are preferred as opposed to 1D patterns which extend substantially along a direction such as a straight or wavy line such as a sinusoid.
  • sub-steps 1'a) and 1'b) are carried out without moving the glazing relative to the optical device and even without moving the glazing and the optical device, sub-steps 1'a) and 1'b) being at least successive and preferably simultaneous when Mi is the second pattern M2.
  • Mi is the second pattern M2, the first pattern M1 obscuring the pattern M2, with L2>L1 (M1 being closer to M2 of the optical device), the sub-steps 1 b) and 1 'b) are in l lack of M1.
  • sub-steps 1a) (for example under acquisition step) and 1’a) (for example under acquisition step) are in the presence or in the absence of M2.
  • step 1) when the target (M1 or M1) is a checkerboard or a network of aligned patterns, it is possible to arrange for each line of patterns to be misaligned with the line of pixels of the acquisition device.
  • the acquisition device used for the invention can be based on one or more sensors sensitive to different parts of the electromagnetic spectrum, that is to say in the visible but also outside the visible, in particular in the ultraviolet (UV) or in- below or in the infrared (IR) in particular the near infrared or the far infrared and beyond.
  • UV ultraviolet
  • IR infrared
  • the first pattern M1 (if chosen not simulated for the reference image) and, where applicable, the pattern M2 and their illuminations are chosen so that these patterns and the patterns which constitute them are imaged contrasted manner by the acquisition device used so that each step of the invention can be carried out.
  • the light emitted, reflected or diffused by the sights M1 or M2 and picked up by the optical device can be in spectral ranges S1 and S2 which can be equal, partially overlap or be completely distinct.
  • S1 and S2 are not necessarily in the visible.
  • Mi is the second target M2, the acquisitions of step 1) are in the presence of M1 and M2.
  • the optical device can be chosen polychromatic:
  • M1 can be colored with a color Co1 (corresponding to a spectral range S1, i.e. M1 emits, scatters or reflects light in the spectral range S1).
  • M2 can be colored with a color Co2, Co2 distinct from Co1 (corresponding to a spectral range S2 distinct from S1, i.e. M2 emitting, scattering or reflecting light in a spectral range S2).
  • the device is polychromatic, the first deformed image I'1 (and the first reference image 11 acquired) containing color patterns C'1 and the second deformed image G2 (and the second reference image I2 acquired) and containing color patterns Co'2 distinct from Co'1.
  • the patterns of M1 are colored with a color C1
  • the patterns of M2 are colored with a color Co2 distinct from C1
  • the colors Co1 and Co2 being digitally rendered by the polychromatic image acquisition device by colors Co'1 and Co'2 (the rendered color is not necessarily the real color).
  • the acquisitions of the sub-steps 1 'a) and 1 'b) are simultaneous, the possible acquisitions of the sub-steps 1a) and 1 b) are simultaneous.
  • the first deformed image l'1 (in particular colored with color Co'1) and the second deformed image G2 (in particular colored with color Co'2 distinct from Co'1) are combined on a first common deformed image l'1c (in particular colored with two colors Co'1 and Co'2), before step 3), the first common image l'1c is segmented so as to obtain the images l '1 and l '2 (in particular colored with color Co'1 and Co '2).
  • the common (reference) image 11c is segmented so as to obtain the (reference) images 11 and I2, in particular colored with colors Co′1 and Co′2).
  • the digital acquisition device is not focused on one of the targets in particular (if necessary, a certain blur is allowed on the image of one or more sights).
  • the method comprises establishing a so-called predictive cartography in all pixels of the apparent so-called simulated displacements p3, in particular if necessary by interpolation (linear, polynomial) of the first and second apparent displacements.
  • the so-called predictive mapping can be obtained from a first mapping of the first displacements in any pixel and from a second mapping of the second interpolated displacements in any pixel, in particular mappings directly obtained by using an image correlation.
  • the so-called predictive mapping can be obtained from a first mapping of the first interpolated displacements and a second mapping of the second interpolated displacements.
  • [Math 4] fo being the focal length of the optical device pi being the first apparent displacement in any pixel
  • step 2) includes (automatic) detection of points, in particular using techniques known to those skilled in the art of image processing, in particular with sub-pixel detection of points, in particular:
  • the detections are optionally all or part simultaneous, in particular the detections 2a) and 2b) or 2c and 2d) or 2'a) and 2'b) or 2'c and 2'd) possibly being simultaneous
  • the origin point 01 or 02 can coincide with a point of interest and be located at the same time.
  • the detections 2′a) and 2′a) or 2b) and 2′b) or 2c) and 2′c) or 2d) and 2′d) are possibly simultaneous, in parallel and preferably carried out after segmentation as described later. It is possible to order Ki in parallel with other image processing operations. We can start ordering certain points already detected and continue the detection for others.
  • the method may include:
  • first pairs (K1, K ⁇ ) and second pairs (K2, K'2) of ordered points of interest each first pair comprising first point of interest K1 and (its) first other point of interest K ⁇ shifted, each second pair comprising second point of interest K2 and (its) second other point of interest K'2 shifted.
  • the pairing between points is used to determine the apparent displacements.
  • the first and second apparent displacements correspond to the difference between the coordinates of the image points K1 , K ⁇ and K2, K'2
  • At least 100 first and second pairs are formed which correspond to physical points distributed over the pattern in a regular or irregular manner and according to a sufficient mesh to scan the region of the glazing.
  • first and second pairs can be done simultaneously, in parallel, (after the segmentation detailed later).
  • the points of interest are chosen from:
  • step 2) can be based on the correlation of digital images
  • the first pattern M1 is preferably a pattern of random or pseudo-random patterns
  • the pattern Mi is preferably a pattern of random or pseudo-random patterns and comprises: - the comparison of image portions of the first reference image 11 with the first deformed image G1 or conversely the comparison of deformed image portions of the first deformed image l'1 with the first reference image 11, preferably the first points are the centers C1 of the image portions and the first shifted points are the centers C'1 of the deformed image portions.
  • the second points are preferably the centers C2 of the image portions, the second offset points are the centers C'2 of the deformed image portions.
  • the invention also relates to a calibration method (for real-time deformed image corrections) of an optical camera (in the visible, LIDAR, thermal camera, etc.) placed in the passenger compartment of a vehicle in the field of view of a region of said vehicle glazing forming a camera zone analyzed according to the analysis method described above, calibration using the cartography of the apparent displacements simulated in particular so as to compensate on the images of the optical camera for the effects of refraction (shift, distortion ) light radiation through the region of said glazing.
  • an optical camera in the visible, LIDAR, thermal camera, etc.
  • the working distance is the distance of the camera from a detection object outside the passenger compartment.
  • the invention also relates to a vehicle, in particular autonomous or semi-autonomous, comprising the glazing thus analyzed and the said camera thus calibrated, in particular a camera positioned to receive light radiation passing through the glazing through the said region forming the camera zone, camera chosen among: camera in the visible, in the infrared, in particular LIDAR; thermal camera.
  • the invention also relates to road or rail vehicle glazing, which incorporates a data storage device in the form of a data matrix or a bar code which refers to a database, the database containing mapping of apparent simulated displacements in particular the data storage device is on said glazing, in particular on the periphery, in particular printed on the glazing, engraved (by laser, etc.) or glued to the glazing.
  • a data storage device in the form of a data matrix or a bar code which refers to a database
  • the database containing mapping of apparent simulated displacements in particular the data storage device is on said glazing, in particular on the periphery, in particular printed on the glazing, engraved (by laser, etc.) or glued to the glazing.
  • the invention also relates to a vehicle, in particular autonomous or semi-autonomous, comprising the glazing and an image acquisition device in the passenger compartment, in particular an optical camera positioned to receive light radiation passing through the glazing through said region forming a camera zone, camera chosen from: camera in the visible, in the infrared, in particular LIDAR; thermal camera
  • the glazing according to the invention can be laminated and comprise:
  • first sheet of glass intended to be the exterior glazing with a first external main face F1 and a second internal main face F2 oriented towards the passenger compartment
  • spacer material with a main face Fa oriented towards F2 and with a main face Fb opposite to Fa, in particular polyvinyl butyral PVB (acoustic and/or corner etc.)
  • the camera is an infrared vision system at the working wavelength in the near infrared (LIDAR, etc.) placed in the passenger compartment behind said glazing and comprising a transmitter and/or receiver so as to send and/or receive radiation passing through the first glass sheet possibly with a through hole (4), in the thickness of the second glass sheet, the through hole being centimetric, closed or open hole.
  • LIDAR near infrared
  • the camera is an infrared vision system at the working wavelength in the far infrared placed in the passenger compartment behind said glazing and opposite an insert transparent at the working wavelength housed at the level a through hole in the glazing.
  • the invention relates to a method for analyzing the optical quality of a region (preferably limited) of a preferably curved glazing (for example along at least one or two radii of curvature) from image analysis of a pattern, which includes a certain number of steps with sub-steps in particular:
  • a first digital image acquisition step comprising:
  • the glazing being placed between the optical device and the target Mi, with said region in the field of view of the optical device, the acquisition of a second deformed image G2 of the target Mi.
  • the sub-steps 1'a) and 1'b) are carried out without moving the glazing relative to the optical device and even without moving the glazing and the optical device, the sub-steps 1'a) and 1'b) being at less successive and preferably simultaneous when Mi is the second pattern M2.
  • Mi is the second pattern M2, with L2>L1, the first pattern M1 obscuring the pattern M2, the substeps 1 b) and 1 'b) are in the absence of M1.
  • Mi is the second target M2
  • the acquisitions of step 1) are in the presence of M1 and M2, preferably successive or simultaneous acquisitions of sub-steps 1 'a) and 1 'b), in particular the The device is polychromatic, the first deformed image l′1 containing color patterns Co′1 and the second deformed image G2 containing color patterns Co′2 distinct from Co′1 .
  • the acquisitions of substeps 1'a) and 1'b) are simultaneous, any acquisitions of substeps 1a) and 1b) are simultaneous and the first distorted image 1'1 and the second distorted image G2 are combined on a deformed common image l'1c, before step 3), the common image l'1c is segmented so as to obtain the images l'1 and G2 and possibly the first reference image 11 and the second reference image I2 are combined on a common image 11c and before step 3), the common image 11c is segmented so as to obtain the images I1 and I2.
  • the method comprises: 2) a step for generating image points which are:
  • step 2) can comprise a detection of points, in particular by sub-pixel detection of points,
  • the method includes:
  • each first pair comprising a first point of interest and its first other offset point of interest
  • each second pair comprising second point of interest and its second other offset point of interest.
  • the points of interest are chosen from:
  • step 2) is based on the correlation of digital images, and includes:
  • the first points are the centers C1 of the image portions and the first shifted points are the centers C'1 of the deformed image portions.
  • the second points are preferably the centers image portions, the second shifted points are the centers of the distorted image portions.
  • step 3 the method includes:
  • FIG. 1 schematically represents in front view a glazing 100 for a motor vehicle, such as a windshield.
  • the following figures illustrate a system for implementing a first step 1) of the method for analyzing the optical quality of the delimited region of the glazing according to a first aspect of the invention:
  • FIG. 2 or figure 2 is a schematic representation of the system for the implementation of a sub-step 1a) of the first step.
  • FIG. 3 or figure 3 is a schematic representation of the system for the implementation of a sub-step 1 'a) of the first step.
  • FIG. 4 or figure 4 is a schematic representation of the system for the implementation of a sub-step 1 b) of the first step.
  • FIG. 5 or figure 5 is a schematic representation of the system for the implementation of a sub-step 1 'b) of the first step.
  • FIG. 6 is an explanatory schematic representation of the method according to the invention with a system of a first target M1 to L1 and a first target M1 (displaced) or M2 to L2.
  • the following figures illustrate a system for implementing a first step 1) of the method for analyzing the optical quality of the delimited region of the glazing according to a second aspect of the invention:
  • FIG. 7 or figure 7 is a schematic representation of the system for the implementation of a sub-step 1a) of the first step.
  • FIG. 8 or figure 8 is a schematic representation of the system for the implementation of a sub-step 1 'a) of the first step.
  • FIG. 9 or figure 9 is a schematic representation of a reference image with a field of first apparent displacements.
  • FIG. 10 is a map 301 of the first interpolated apparent displacements for L1 of 0.5 m.
  • FIG. 11 or figure 11 is a map of the second interpolated apparent displacements for L2 of 0.75m.
  • FIG. 12 or figure 12 is a map of apparent third displacements interpolated for L3 of 1 m measured as experimental verification.
  • FIG. 13 or figure 13 is a predictive map of apparent displacements simulated for L3 of 1m calculated from maps 301 and 302.
  • FIG. 14 or figure 14 is a map of the difference between third apparent displacements and simulated apparent displacements.
  • FIG. 15 shows a first reference image of a reference pattern M1 with random patterns (dots) 401 and a portion of image Im 11 of the first deformed image l′1.
  • FIG. 16 shows a field of first displacements for four portions of disjoint images of the first deformed image.
  • FIG. 17 is a schematic representation of a glazing comprising a delimited zone intended to be placed on the optical path of an optical device such as a camera.
  • FIG. 18 is a schematic representation in side view of a glazing comprising a delimited zone intended to be placed on the optical path of an optical device such as a camera.
  • FIG. 1 schematically represents a glazing 100 for a motor vehicle, such as a windshield.
  • the glazing 100 comprises a sheet of glass 1 and an enamel strip 12.
  • the enamel strip 12 forms a delimited zone 10 intended to be placed on the optical path of an optical device, such as a camera of a intelligent driver assistance system.
  • the surface of the delimited zone is generally less than 0.5m 2 .
  • the enamel strip 12 can be arranged entirely on the surface of only one of the two main faces of the glass sheet 1, or be divided into several parts, each of the parts being arranged on one and on the other of the faces of the sheet of glass 1 and all of the parts globally forming a delimited zone 10.
  • the strip of enamel can also be made of several parts, each part being arranged on the surface of two or more glass sheets according to the number of parts so as to form a delimited area.
  • the following figures illustrate a system for implementing a first step 1) of the method for analyzing the optical quality of the delimited region of the glazing according to a first aspect of the invention.
  • Figure 2 is a schematic representation of the system for the implementation of a sub-step 1a) of the first step, namely:
  • a first reference image h of a fixed (and illuminated) target M1 31 comprising a first set of (contrasted) patterns 32, 33 extending along two dimensions (X, Y orthogonal in particular Y vertical axis ), preferably 2D patterns - in particular on a first panel (in particular plane) -, at a distance L1 at least centimeter and preferably at most 5 m from an optical device for acquiring (digital) images 2 following the optical axis (Z) of the optical device, in particular at least 10, 50 or better still 100 patterns in the depth of field.
  • FIG. 3 is a schematic representation of the system for the implementation of a sub-step 1 a) of the first step, namely the glazing 100 being placed between the optical device 2 and the first pattern M1 31 , with said region of surface in the field of view of the optical device, the acquisition of a first deformed image i of said first pattern M1 (physical), 31 to L1.
  • the (curved) glazing is inclined at a first angle preferably identical to the angle of the glazing or +/-5° or +/-1° in the mounted position in a vehicle.
  • FIG. 4 is a schematic representation of the system for the implementation of a sub-step 1'b) of the first step, namely the glazing 100 remaining placed between the optical device 2 and the first pattern M1 31 , with said region of surface in the field of view of the optical device, the acquisition of a second deformed image G2 of said first target M1 (physical), 31 at a distance L2 distinct from L1 of the optical device 2, preferably L2-L1 in absolute value is at least 1cm or 10cm or 20cm.
  • Figure 5 is a schematic representation of the system for the implementation of a sub-step 1a) of the first step, namely the acquisition of a second reference image I 2 of the target M1 31 fixed (and illuminated) at the distance L2 (glazing absent).
  • FIG. 6 is an explanatory schematic representation of the method according to the invention with a system 30' of a target M1 to L1 of the objective 22 and a system 30' to L2 of the first target M1 (displaced) or of the target M2 target 22.
  • the detector 21 is preferably positioned so that the focus is made on the plane containing the real object A1 (respectively A2) at a distance L1 (respectively L2), each plane being successively preferably in the depth of field of the 'purpose.
  • ⁇ Bi The angle with the optical axis Z (the horizontal) of the virtual ray at the point Bi is denoted ⁇ Bi with ⁇ i, j ⁇ ⁇ ⁇ 1,2 ⁇
  • the virtual points Bi are defined by their position y Bi with ⁇ i,j ⁇ e ⁇ 1,2 ⁇ :
  • the angle b is defined as the angle of the light ray coming from A1 or A2 or passing through A1 and A2 after it has passed through the transparent element 100, that is to say between the points H2 and G.
  • the ray therefore goes intercept objective 22 at point y G : [Math 8] where ⁇ i, j ⁇ ⁇ ⁇ 1,2 ⁇
  • P is the size of the physical pixel on the 21 ⁇ 1 detector and Y2 are the magnifications defined by:
  • tan b represents the effect of refraction in 100 of the ray issuing from with an angle a.
  • p 1 , p 2 , L 1 , L 2 , ⁇ 1 , y 2 and P are then known or determined.
  • the following figures illustrate a system for implementing a first step 1) of the method for analyzing the optical quality of the delimited region of the glazing according to a second aspect of the invention.
  • Figure 7 is a schematic representation of the system for implementing a simultaneous sub-step of 1a) and 1b) of the first step.
  • the two reference images are acquired at the same time thanks to colored M1 31 checkerboard 32, 32' and colored M2 31' checkerboard 32, 32' patterns adapted respectively to L1 and L2 (different colors).
  • M1 31 is closer to the 2' optical device of the RBG type.
  • Figure 8 is a schematic representation of the system for the implementation of a simultaneous sub-step 1 'a) and 1 'b) of the first step.
  • the two distorted images are acquired at the same time thanks to the appropriate M1 31 checkerboard 32, 32' and M2 31' checkerboard 32, 32' test charts.
  • the glazing 100 is between the first M1 31 and the optical device 2'.
  • FIG. 9 is a schematic representation 200 of a reference image (of a checkerboard of black and white patterns corresponding to the first pattern M1) with a field of first apparent displacements p1 i by pairs of first points of interest (K1i K'1i) which are the corners of the patterns.
  • FIG. 10 is a map 301 of the first apparent displacements interpolated for L1 of 0.5 m.
  • the patterns of the M1 checkerboard pattern are squares with a side of 5.4mm.
  • the glazing is inclined at 30° with respect to the horizontal.
  • FIG. 11 is a map 302 of the second interpolated apparent displacements for L2 of 0.75 m.
  • the patterns of the M2 checkerboard pattern are squares with sides of 8.1mm.
  • FIG. 12 is a map 303 of apparent third displacements interpolated for L3 of 1 m measured as experimental verification.
  • the patterns of the M2 checkerboard pattern are squares with a side of 10.8mm.
  • FIG. 13 is a predictive map 304 of apparent displacements simulated for L3 of 1 m calculated from maps 301 and 302.
  • FIG. 14 is a map 305 of the difference between apparent third displacements and simulated apparent displacements.
  • FIG. 15 shows a first reference image 400 of a reference pattern M1 with random patterns (dots) 401 and an image portion Im 11 of the first deformed image l '1 which is a sliding window on the first image of reference until the best localization of the image portion is found on the original image (calculation of the correlation function between the distorted image portion and portions of the reference image of equivalent size, the best location is defined by a maximum correlation function).
  • the central point of this deformed image portion and the central point of the equivalent reference image portion are identified.
  • the first apparent displacement is calculated between the two central points of the image portions.
  • FIG. 16 shows a field of first displacements for four portions of disjoint images of the first deformed image Im11, Iml2, Iml3 and Iml4.
  • Each first displacement p1 1 p1 2 p1 3 p1 4 apparent is illustrated between the two central points (C1 1 , C'1 1 ) (C1 2 , C'1 2 ) (C1 3 , C'1 3 ) (C1 4 , C'1 4 ) portions of images.
  • FIG. 17 is a schematic representation of a glazing 1000 comprising a delimited zone 10 being intended to be placed on the optical path of an optical device such as a camera.
  • the glazing 1000 incorporates a data storage device 2000 in the form of a data matrix or a bar code which refers to a database containing the cartography of the simulated apparent displacements.
  • the data storage device is on said glazing printed on the periphery in a recess of the enamel strip 12 on the glazing (on the inside face 11 for example).
  • Figure 18 is a schematic representation in side view of a glazing according to Figure 17 comprising the delimited zone placed on the optical path of an ADAS optical device such as a 2” camera.
  • the delimited zone is a zone delimited by edges, in particular opaque edges, in particular edges formed by decorative elements making it possible to hide from view elements of devices, such as devices of on-board intelligent systems, arranged behind the glazing .
  • the delimited area can have various shapes and/or include additional functional elements depending on the uses:
  • the part in the form of a circle can, for example, be used to install an additional device such as a rain sensor or an outdoor light sensor.
  • the rectangular portion with rounded edges further comprises a shading band on its outer periphery.
  • the delimited zone can comprise a heating element on its surface, making it possible to eliminate any mist or frost likely to form on said surface and hinder the acquisition of an optical device placed opposite.
  • the delimited zone of the glazing is a zone delimited by at least two edges, preferably three edges.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

L'invention concerne une méthode d'analyse de la qualité optique d'une région d'un vitrage, ladite région étant destinée à être placée devant un dispositif d'acquisition ou de mesure tel qu'une caméra à partir de déplacements apparents de points d'image. L'invention concerne ainsi une méthode de calibration d'une caméra à partir de ladite méthode d'analyse et un vitrage ainsi analysé.

Description

DESCRIPTION
TITRE : Méthode d’analyse de la qualité optique d’un vitrage, méthode de calibration d’une caméra, vitrage analysé
L’invention concerne une méthode d’analyse de la qualité optique d’une région d’un vitrage, ladite région étant destinée à être placée devant un dispositif d’acquisition ou de mesure tel qu’une caméra. L’invention concerne ainsi une méthode de calibration d’une caméra à partir de ladite méthode d’analyse et un vitrage ainsi analysé.
L’invention est particulièrement adaptée à la mesure de la qualité optique d’une zone délimitée d’un vitrage de véhicule de transport, tel qu’un parebrise de voiture ou d’avion, devant laquelle un dispositif optique d’enregistrement d’images ou un dispositif de mesure de l’environnement extérieur du véhicule est placé pour le fonctionnement d’un système intelligent d’assistance à la conduite dudit véhicule.
Les systèmes intelligents d’assistance à la conduite (ADAS « advanced driver assistance System ») équipent de plus en plus de véhicules de transport, notamment de véhicules automobiles. Entre autres fonctionnalités, ces systèmes embarqués peuvent fournir en temps réel des informations sur l’état du trafic routier et/ou sur l’état des équipements et des éléments mécaniques et/ou électriques du véhicule, évaluer l’état de fatigue ou de distraction du conducteur, détecter et anticiper d’éventuelles menaces de l’environnement extérieur du véhicule, ou encore aider le conducteur à réaliser certaines manœuvres difficiles comme le dépassement d’autres véhicules ou le stationnement.
Pour fonctionner ces systèmes intègrent de nombreux dispositifs ou capteurs permettant de collecter des données sur le conducteur, le véhicule et/ou sur leur environnement. Certains systèmes, comme par exemple les systèmes d’aide au stationnement, les systèmes de conduite autonome ou encore les systèmes d’anticipation des collisions, mettent en œuvre un ou plusieurs dispositifs optiques d’acquisition d’images ou des dispositifs de mesure de l’environnement extérieur du véhicule. Ces dispositifs sont généralement disposés dans l’enceinte du véhicule, derrière l’un des vitrages dudit véhicule, ledit vitrage ayant alors généralement une fonction protectrice pour ce dispositif. Ils peuvent aussi être directement incorporés dans le vitrage, par exemple entre deux feuilles de verre d’un vitrage feuilleté dont l’une est munie d’une cavité pour l’accueillir.
Le vitrage peut être un des quelconques vitrages usuels du véhicule : parebrise, lunette arrière, vitrages latéraux. Le plus souvent les dispositifs optiques sont disposés derrière le parebrise afin d’acquérir des informations de l’avant du véhicule.
Les informations ou données acquises par les dispositifs, comme par exemple des images dans le cas de dispositifs optiques d’enregistrement, sont traitées par des systèmes embarqués pour obtenir la fonctionnalité recherchée. Afin que les systèmes intelligents embarqués qui mettent en œuvre des dispositifs optiques d’enregistrement ou des dispositifs de mesure disposés derrière les vitrages puissent fonctionner de manière optimale, il est nécessaire que les données acquises par lesdits dispositifs optiques soient fiables, c’est-à-dire libres de tout artefact. Aussi, lesdits vitrages doivent-ils présenter une qualité optique suffisante afin d’éviter les défauts et/ou aberrations optiques comme des aberrations de sphéricité, de chromatisme, d’astigmatisme, de coma.
Ces dispositifs, en particulier les dispositifs situés au niveau du parebrise, sont généralement disposés derrière des vitrages inclinés et, dans la majorité des cas dans une zone des vitrages délimitée par des éléments de décoration permettant de cacher à la vue depuis l’extérieur des véhicules les éléments desdits dispositifs hormis leurs éléments actifs pour l’acquisition des images ou la mesure de tout autre paramètre. Les zones délimitées peuvent également comprendre sur leur surface des éléments fonctionnels qui se retrouvent directement placés dans le champs d’acquisition ou de mesure des dispositifs d’acquisition ou mesure. Ces éléments peuvent, par exemple, être des réseaux de fils chauffants avec différentes géométries, ou encore des couches fonctionnelles à propriétés optiques ou thermiques. Ces éléments fonctionnels provoquent également des distorsions optiques.
Les vitrages comprenant une zone délimitée destinée à être placée devant un dispositif d’acquisition ou de mesure sont fabriqués avant l’intégration dudit dispositif. Il est donc nécessaire de vérifier la qualité optique de la zone délimitée afin d’éviter que la présence de distorsions optiques ne soit à l’origine d’artefacts préjudiciables dans les images ou signaux acquis par ces dispositifs.
L’état de la technique décrit de nombreuses méthodes de contrôle ou de mesure de la qualité optique des vitrages, en particulier des parebrises pour véhicule.
Il est connu d’analyser la qualité optique d’un pare-brise entier par analyse d’images d’une mire.
Toutefois, s’il s’agit de mesurer la qualité d’une zone délimitée d’un vitrage en relation avec une caméra optique avec un champ de vue angulaire dit AFOV (pour Angular Field Of View en anglais) élevé, cela nécessiterait de positionner une mire gigantesque. Par exemple à 5m pour un AFOV horizontal de 100° la mire devrait être de plus de 10m de large ce qui est difficilement intégrable dans une ligne industrielle. La mire serait encombrante et devrait s’ajuster à chaque modèle de caméra optique.
Aussi un objet de l’invention est de proposer une méthode d’analyse de la qualité optique d’une région d’un vitrage (troué ou non troué) sans les inconvénients précités, ainsi davantage aisée à mettre en œuvre industriellement (mire à plus courte distance que la distance de travail -distance de détection de l’objet etc-, équipement simple à prix raisonnable qui sert pour tout type de caméra, quelle que soit la distance de travail...) sans sacrifier la précision de mesure.
Aussi un premier objet de l’invention est de proposer une méthode d’analyse de la qualité optique d’une région d’un vitrage (notamment bombé et/ou feuilleté) notamment de véhicule terrestre, ferroviaire ou aéronautique, en particulier un pare-brise de véhicule automobile, région couvrant tout ou partie de la surface du vitrage, notamment région formant une zone limitée (fenêtre de transmission) destinée à être placée devant un dispositif d’acquisition ou de mesure (ADAS), éventuellement dans cette région le vitrage ayant un trou traversant comblé par un insert (transparent à la longueur d’onde de travail de l’ADAS) ou un trou partiel (sur feuille de verre interne d’un vitrage feuilleté) éventuellement avec un insert (transparent à la longueur d’onde de travail de l’ADAS), à partir d’analyse d’images d’une mire comprenant: 1) une (première) étape d’acquisition d’images numériques comportant:
- une acquisition d’au moins une image (numérique) d’une première mire M1 fixe (et éclairée) comportant un premier ensemble de motifs (contrastés) s’étendant selon deux dimensions (X, Y orthogonaux notamment Y axe vertical), de préférence motifs 2D-en particulier sur un premier panneau (notamment plan)-, à une distance L1 au moins centimétrique et de préférence d’au plus 5m d’un dispositif optique d’acquisition d’images (numériques) suivant l’axe optique (Z) du dispositif optique, notamment au moins 10 ou 50 ou mieux au moins 100 motifs dans la profondeur de champ, acquisition comportant ainsi, dans n’importe quel ordre les sous étapes suivantes: la) la mise à disposition d’une première image de référence h, théorique ou acquise, de la première mire M1 (simulée ou physique) de préférence dans la profondeur de champ du dispositif optique, en l’absence dudit vitrage,
1’a) le vitrage étant placé entre le dispositif optique et la première mire M1 , avec ladite région de surface dans le champ de vue du dispositif optique, l’acquisition d’une première image déformée l’i de ladite première mire M1 (physique), notamment déformation d’image induite par ladite région, vitrage incliné suivant un premier angle de préférence identique à l’angle du vitrage ou +/-5° ou +/- 1 ° en position monté dans un véhicule
- une acquisition d’au moins une image d’une mire Mi fixe (et éclairée) choisie parmi la première mire M1 ou d’une autre mire M2 comportant un deuxième ensemble de motifs (contrastés) s’étendant selon deux dimensions (Y’ Z’) de préférence motifs 2D - notamment sur un deuxième panneau (notamment plan), mire Mi à une distance L2 distincte de L1 du dispositif optique, de préférence L2- L1 en valeur absolue est au moins 1 cm ou 10 cm ou 20cm, acquisition comprenant ainsi, dans n’importe quel ordre les sous étapes suivantes: lb) la mise à disposition d’une deuxième image de référence I2, théorique ou acquise, de la mire Mi (simulée ou physique), de préférence dans la profondeur de champ du dispositif optique, en l’absence dudit vitrage
1 ’b) le vitrage étant placé entre le dispositif optique et la mire Mi, avec ladite région dans le champ de vue du dispositif optique, l’acquisition d’une deuxième image déformée G2 de la mire Mi (physique), de préférence vitrage incliné suivant un deuxième angle de préférence identique ou sensiblement identique au premier angle les sous étapes suivantes: 1a) à 1 ’b) étant dans n’importe quel ordre, avec les éventuelles acquisitions 1a) et 1 b) pouvant être simultanées et/ou avec les acquisitions 1 ’a) et 1 ’b) éventuellement simultanées.
Concernant les images de références I1 , I2 ce peut être des images acquises préenregistrées (acquises bien à l’avance), des images théoriques (simulées par ordinateur) ou des images acquises dans une même séquence d’acquisitions que les images déformées l '1 , G2.
Tant que la stabilité de la ligne optique est assurée, on peut notamment utiliser la première image de référence 11 théorique ou acquise (respectivement la deuxième image I2 théorique ou acquise) et ensuite faire une série d’acquisitions d’images déformées avec différents vitrages (en « batch ») à la suite pour la première mire M1 et pour la mire Mi.
Après ou au fur et à mesure de l’acquisition d’images 1 ), la méthode comporte : 2) une étape de génération de points d’images en pixels (points repérés sur les images) qui sont :
- des premiers points (K1i) de la première mire M1 (repérés) sur la première image de référence 11 correspondant à des points physiques ou simulés (J1i) de la première mire M1 (points simulés si 11 théorique)
- des premiers autres points dits décalés (K’1i) de la première mire M1 (repérés) sur la première image déformée l '1 correspondant aux mêmes points (J 1 i) de la première mire M1
- des deuxième points de la mire Mi (K2i) (repérés) sur la deuxième image I2 correspondant à des points physiques ou simulés (J2i) de la mire Mi
- des deuxième autres points dits décalés (K’2i) de la deuxième mire M2 (repérés) sur la deuxième image déformée G2 correspondant aux mêmes points (J2i) de la mire Mi.
En particulier les points d’images sont de préférence des points d’intérêts (ou remarquables) des motifs, ou des points notamment centraux de portions de région contenant un motif qu’on peut reconnaître. Les points d’images peuvent être dans n’importe quelle zone de l’image qu’on est capable de localiser sur l’image de référence 11 et sur l’image déformée l '1 (respectivement I2 et G2). Après ou en fur et à mesure de l’étape 2), la méthode comporte :
3) une étape de détermination, par calcul, d’un champ de premiers déplacements apparents, en pixels, entre chaque premier point (K1i) et son autre premier point décalé (K’1i) et d’un champ de deuxièmes déplacements apparents, en pixels, entre chaque deuxième point (K2i) et son deuxième point décalé correspondant (K2i).
Après l’étape 3) elle comporte :
4) une étape de détermination (prédiction) par calcul, à l’aide des champs des premiers et deuxième déplacements apparents, d’un champ de déplacements apparents simulé (en pixel,) de points, pour une (toute) distance L3 distincte de L1 et L2 d’une mire (comprenant des motifs s’étendant suivant deux dimensions, par exemple M1 ou M2) avec le dispositif optique le long de l’axe optique.
La méthode selon l’invention permet ainsi de déduire, prédire un champ de déplacements apparents simulé pour une distance L3 qui peut être très grande à partir de mesures et de calculs de champs de déplacement apparents à des distances L1 , L2 choisies à façon.
Le champ de déplacements apparents simulé renseigne sur la qualité du vitrage et permettra de calibrer une caméra c’est-à-dire de corriger les déformations sur l’image en temps réel.
Pour une meilleure précision de mesure, le vitrage peut être de préférence incliné par rapport à l’axe optique du dispositif optique numérique selon un angle correspondant l’angle prévu dans l’utilisation dudit vitrage dans un véhicule, et l’angle est identique pendant 1’a) et 1 ’b).
Dans la méthode selon l’invention les étapes 1 ) et 2) et 2) et 3) peuvent s’entrelacer. Il faut une image pour pouvoir l'analyser mais l'analyse de cette image peut commencer pendant la fourniture ou l'acquisition d’autres images l '1 , I2 etc.
Les panneaux porteurs de mire M1 ou M2 ne sont pas nécessairement strictement dans un plan orthogonal à l'axe optique. La distance L1 et L2 sont mesurée le long de l'axe optique, entre la caméra et le point de la mire qui intersecte l'axe optique.
Chaque mire est éclairée par tout moyen connu : rétroéclairage, éclairage de côté (spots, lumière d’ambiance).
Chaque mire est fixe (immobile pendant l’acquisition).
Les motifs sont discernables. Les motifs sont opaques ou transparents, colorés ou incolores, identiques ou distincts.
Les motifs peuvent être disjoints.
Les motifs peuvent être de toute forme, géométrique (disque, ovale etc) de taille adaptée à la résolution recherchée et dépendant de la taille des pixels des capteur du dispositif optique.
Les motifs peuvent former un arrangement régulier et même périodique de motifs disjoints : réseau avec une maille de forme donnée (carrée hexagonale etc).
La mire peut être un pavage de deux motifs de couleurs différentes (rectangulaire, carré etc) en alternance par exemple la mire peut être un damier de noir et blanc ou coloré et transparent.
Pour une meilleure information 2D plutôt que 1 D, on préfère des motifs 2D par opposition aux motifs 1 D qui s’étendent sensiblement selon une direction telle une ligne droite ou ondulée comme une sinusoïde.
Avantageusement pour limiter les erreurs de mesure, les sous étapes 1 ’a) et 1 ’b) sont faites sans déplacement du vitrage par rapport au dispositif optique et même sans déplacement du vitrage et du dispositif optique, les sous étapes 1 ’a) et 1 ’b) étant au moins successives et de préférence simultanées lorsque Mi est la deuxième mire M2.
Dans une réalisation, Mi est la deuxième mire M2, la première mire M1 occultant la mire M2, avec L2>L1 (M1 étant plus proche de M2 du dispositif optique), les sous étapes 1 b) et 1 ’b) sont en l’absence de M1. En particulier, les sous étapes 1a) (par exemple sous étape d’acquisition) et 1’a) (par exemple sous étape d’acquisition) sont en présence ou en l’absence de M2.
Dans l’étape 1 ) lorsque la mire (M1 ou M1 ) est un damier ou un réseau de motifs alignés on peut s’arranger pour que chaque ligne de motifs soit désalignée avec la ligne des pixels du dispositif d’acquisition. Le dispositif d’acquisition utilisé pour l’invention peut être basé sur un ou des capteurs sensibles à différentes parties du spectre électromagnétique c’est-à- dire dans le visible mais aussi hors visible notamment dans l’ultraviolet (UV) ou en-deçà ou dans l’infrarouge (IR) en particulier le proche infrarouge ou l’infrarouge lointain et au-delà. Pour une application hors visible, la première mire M1 (si choisie non simulée pour l’image de référence) et le cas échéant la mire M2 et leurs illuminations sont choisies de façon à ce que ces mires et les motifs qui les constituent soient imagés de façon contrastée par le dispositif d’acquisition utilisé afin que chaque étape de l’invention puisse être réalisée.
La lumière émise, réfléchie ou diffusée par les mires M1 ou M2 et captées par le dispositif optique peuvent être dans des gammes spectrales S1 et S2 qui peuvent être égales, se recouvrir partiellement ou être complètement distinctes.
S1 et S2 ne sont pas forcément dans le visible.
Dans une réalisation avantageuse, Mi est la deuxième mire M2, les acquisitions de l’étape 1 ) sont en présence de M1 et M2.
Le dispositif optique peut être choisi polychromatique :
- dans une gamme spectrale dans le visible avec plusieurs canaux sensibles dans au moins deux gammes spectrales différents S’1 et S’2 dans le visible,
- ou dans une autre gamme spectrale que le visible (IR, UV ) avec plusieurs canaux sensibles dans au moins deux gammes spectrales différentes S’1 et S’2 hors visible (IR, UV etc).
M1 peut être colorée avec une couleur Co1 (correspondant à une gamme spectrale S1 , c’est-à-dire M1 émet, diffuse ou réfléchit la lumière dans la gamme spectrale S1 ).
M2 peut être colorée avec une couleur Co2, Co2 distincte de Co1 (correspondant à une gamme spectrale S2 distincte de S1 , c’est-à-dire M2 émettant, diffusant ou réfléchissant la lumière dans une gamme spectrale S2).
En particulier le dispositif est polychromatique la première image déformée l '1 (et la première image de référence 11 acquise) contenant des motifs de couleur C’1 et la deuxième image déformée G2 (et la deuxième image de référence I2 acquise) et contenant des motifs de couleur Co’2 distincte de Co’1 . En particulier, les motifs de M1 sont colorés avec une couleur C1 , les motifs de M2 sont colorés avec une couleur Co2 distincte de C1 , les couleurs Co1 et Co2 étant rendues de façon numérique par le dispositif d’acquisition d’image polychromatique par des couleurs Co’1 et Co’2 (la couleur rendue n'est pas forcément la couleur réelle).
Dans cette dernière réalisation pour d’avantage de gain de temps et pour enlever le besoin de retirer ou déplacer la mire M1 , les acquisitions des sous étapes 1 ’a) et 1 ’b) sont simultanées, les éventuelles acquisitions des sous étapes 1a) et 1 b) sont simultanées.
La première image déformée l '1 (notamment colorée de couleur Co’1 ) et la deuxième image déformée G2 (notamment colorée de couleur Co’2 distincte de Co’1 ) sont combinées sur une première image commune déformée l’1c (notamment colorée avec deux couleurs Co’1 et Co’2), avant l’étape 3), on segmente la première image commune l’1c de façon à obtenir les images l '1 etl '2 (notamment colorées de couleur Co’1 et Co’2).
Et éventuellement la première image de référence 11 acquise (notamment colorée de couleur Co’1 ) et la deuxième image de référence I2 acquise (notamment colorée de couleur Co’2 distincte de Co’1 ) sont combinées sur une image (de référence) commune 11c et avant l’étape 3), on segmente l’image (de référence) commune 11c de façon à obtenir les images (de référence) 11 et I2 notamment colorées de couleur Co’1 et Co’2).
Dans une configuration avec double mire M1 et Mi=M2, le dispositif d’acquisition numérique n’est pas focalisé sur l’une des mires en particulier (le cas échéant, un certain flou est permis sur l’image d’une ou plusieurs mires).
Dans une réalisation, la méthode comprend un établissement d’une cartographie dite prédictive en tout pixel des déplacements apparents dits simulés p3 notamment si nécessaire par interpolation (linaire, polynomiale) des premiers et deuxièmes déplacements apparents.
La cartographie dite prédictive peut être obtenue à partir d’une première cartographie des premiers déplacements en tout pixel et d’une deuxième cartographie des deuxièmes déplacements interpolés en tout pixel, en particulier cartographies directement obtenues en utilisant une corrélation d’images. La cartographie dite prédictive peut être obtenue à partir d’une première cartographie des premiers déplacements interpolés et d’une deuxième cartographie des deuxièmes déplacements interpolés.
Dans cette dernière réalisation, le calcul de chaque déplacement apparent p3 (pour L3) en tout pixel est obtenu à partir de la formule suivante :
[Math 1] dans laquelle γ1 γ2 et γ3 sont les grandissements définis par : [Math 2]
[Math 3]
[Math 4] fo étant la focale du dispositif optique pi étant le premier déplacement apparent en tout pixel
P2 étant le deuxième déplacement apparent en tout pixel.
Dans une réalisation, l’étape 2) comporte une détection (automatique) de points, notamment grâce à des techniques connues de l’homme du métier de traitement d’images, en particulier avec détection sous-pixel des points, en particulier :
2a) une détection d’un point physique ou simulé dit point d’origine 01 de la mire M1 repéré par des coordonnées (de préférence cartésiennes) sur la première image de référence 11 (acquise ou théorique)
2b) une détection dudit point d’origine 01 de la mire M1 repéré par des coordonnées (de préférence cartésiennes) sur la première image déformée l '1 2c) une détection desdits premiers points (d’image) qui sont des points d’intérêt K1 représentatifs des motifs-de la première mire M1 sur la première image de référence 11 2d) une détection des premiers autres points (d’image) qui sont des points d’intérêt KΊ représentatifs des motifs-de la première mire M1 sur la première image déformée l '1
2’a) une détection d’un autre point physique ou simulé dit autre point d’origine Oi de la mire Mi repéré par des coordonnées sur la deuxième image de référence I2 (acquise ou théorique),
2’b) une détection dudit autre point d’origine Oi de la mire Mi repéré par des coordonnées sur la deuxième image déformée G2,
2’c) une détection des deuxièmes points (d’image) qui sont des points d’intérêt K2 représentatifs des motifs-de la mire Mi sur la deuxième image I2 2’d) une détection des deuxièmes autres points qui sont des points d’intérêt K’2 représentatifs des motifs-de la mire Mi sur la deuxième image déformée G2 et après ou au fur et à mesure de la détection un ordonnancement (automatique) des (premiers, premiers autres et deuxièmes, deuxième autres ) points d’intérêts K1 à K’2
2e) les premiers points d’intérêts K1 étant ordonnés par rapport au point d’origine 01 repéré sur la première image de référence 11 (acquise ou théorique),
2f) les autres premiers points d’intérêts KΊ étant ordonnés par rapport au point d’origine 01 repéré sur la première image déformée l '1
2’e) les deuxièmes points d’intérêts K2 étant ordonnés par rapport à l’autre point d’origine Oi repéré sur la deuxième image I2 (acquise ou théorique),
2’f) les deuxièmes autres points d’intérêts K’2 étant ordonnés par rapport à l’autre point d’origine Oi repéré sur la deuxième image déformée G2.
Les détections sont éventuellement tout ou partie simultanées, en particulier les détections 2a) et 2b) ou 2c et 2d) ou 2’a) et 2’b) ou 2’c et 2’d) étant éventuellement simultanées
Le point d’origine 01 ou 02 peut coïncider avec un point d’intérêt et être repéré en même temps.
Les détections 2’a) et 2’a) ou 2b) et 2’b) ou 2c) et 2’c) ou 2d) et 2’d) sont éventuellement simultanées, en en parallèle et de préférence réalisées après segmentation comme décrit ultérieurement. On peut ordonner Ki en parallèle d'autres traitements d’images. On peut commencer à ordonner certains points déjà détectés et continuer la détection pour d’autres.
Après ou au fur et à mesure de l’ordonnancement, la méthode peut comporter :
- la formation (automatique) de premières paires (K1 , KΊ) et deuxièmes paires (K2, K’2) des points d’intérêts ordonnés, chaque première paire comportant premier point d’intérêt K1 et (son) premier autre point d’intérêt KΊ décalé, chaque deuxième paire comportant deuxième point d’intérêt K2 et (son) deuxième autre point d’intérêt K’2 décalé.
Dans cette méthode, l’appariement entre points sert pour la détermination des déplacements apparents. Les premiers et deuxièmes déplacements apparents correspondent à la différence entre les coordonnées des points images K1 , KΊ et K2, K’2
De préférence on forme au moins 100 premières et deuxième paires qui correspondent à des points physiques réparties sur la mire de manière régulière ou irrégulière et selon un maillage suffisant pour scanner la région du vitrage.
La formation des première et deuxième paires peut être faite de manière simultanée, en parallèle, (après la segmentation détaillée plus tard).
En particulier, les points d’intérêts sont choisis parmi :
- points dans lignes d’intersection d'une mire grille ou entre motifs de pavage de la mire M1 ou Mi par exemple coins d’un motif carré d’un damier, avec alternance de motifs carré coloré transparent avec la couleur Co1 ou Co2 et de motifs carrés transparent et incolore
- centroides de motifs formant un réseau (régulier, périodique de préférence) de motifs (ponctuels) .identiques de préférence, disjoints de la première mire M1 ou Mi notamment répartis pour mailler suffisamment la zone de détection, motifs opaques ou transparent avec la couleur Co1 ou Co2.
Alternativement à la méthode impliquant des points d’intérêts (repérées par résolution sous pixel), l’étape 2) peut être basée sur la corrélation d’images numériques, la première mire M1 est de préférence une mire de motifs aléatoire ou pseudo aléatoire, la mire Mi est de préférence une mire de motifs aléatoires ou pseudo aléatoire et comprend : - la comparaison de portions d’images de la première image de référence 11 avec la première image déformée G1 ou inversement la comparaison de portions d’images déformées de la première image déformée l '1 avec la première image de référence 11 , de préférence les premiers points sont les centres C1 des portions d’images et les premiers points décalés sont les centres C’1 des portions d’images déformées.
- la comparaison de portions d’images de la deuxième image de référence avec la deuxième image déformée l '1 ou inversement la comparaison de portions d’images déformées de la deuxième image déformée G2 avec la deuxième image de référence I2, les deuxièmes points sont de préférence les centres C2 des portions d’images, les deuxième points décalés sont les centres C’2 des portions d’images déformées.
L’invention concerne aussi une méthode de calibration (de corrections d’images déformées en temps réel) d’une caméra optique (dans le visible , LIDAR, caméra thermique etc) placée dans l’habitacle d’un véhicule dans le champ de vue d’une région dudit vitrage de véhicule formant zone caméra analysée selon la méthode d’analyse décrit précédemment, calibration utilisant la cartographie des déplacements apparents simulés notamment de manière à compenser sur les images de la caméra optique les effets de la réfraction (décalage, distortion) du rayonnement lumineux à travers la région dudit vitrage.
La distance de travail est la distance de la caméra par rapport à un objet de détection à l’extérieur de l’habitacle.
L’invention a trait également à un véhicule notamment autonome ou semi- autonome, comportant le vitrage ainsi analysé et ladite caméra ainsi calibrée, notamment une caméra positionnée pour recevoir un rayonnement lumineux traversant le vitrage au travers de ladite région formant zone caméra, caméra choisie parmi :caméra dans le visible, dans l’infrarouge, en particulier LIDAR ; caméra thermique.
L’invention concerne aussi un vitrage de véhicule routier ou ferroviaire, qui intègre un dispositif de stockage de données sous la forme d’une matrice de données ou d’un code-barre qui renvoie à une base de données, la base de données contenant la cartographie des déplacements apparents simulés notamment le dispositif de stockage de données est sur ledit vitrage, notamment en périphérie, en particulier imprimé sur le vitrage, gravé (par laser etc) ou collé au vitrage.
L’invention a trait également à un véhicule notamment autonome ou semi- autonome, comportant le vitrage et un dispositif d’acquisition d’images dans l’habitacle, notamment une caméra optique positionnée pour recevoir un rayonnement lumineux traversant le vitrage au travers de ladite région formant zone caméra, caméra choisie parmi : caméra dans le visible, dans l’infrarouge, en particulier LIDAR ; caméra thermique Le vitrage selon l’invention peut être feuilleté et comprendre :
- une première feuille de verre destinée à être le vitrage extérieur avec une première face principale externe F1 et une deuxième face principale interne F2 orientée vers l’habitacle
- un intercalaire de feuilletage en matière polymère dite matière intercalaire avec une face principale Fa orienté vers F2 et avec une face principale Fb opposée à Fa, en particulier polyvinylbutyral PVB (acoustique et/ou en coin etc)
- une deuxième feuille de verre destinée à être le vitrage intérieur avec une troisième face principale F3 côté F2 et une quatrième face principale F4 interne orientée vers l’habitacle.
Par exemple la caméra est un système de vision infrarouge à la longueur d’onde de travail dans le proche infrarouge (LIDAR etc) disposé dans l’habitacle derrière ledit vitrage et comportant un émetteur et/ou récepteur de façon à envoyer et/ou recevoir un rayonnement traversant la première feuille de verre éventuellement avec un trou traversant (4), dans l’épaisseur de la deuxième feuille de verre, le trou traversant étant centimétrique, trou fermé ou débouchant.
Par exemple la caméra est un système de vision infrarouge à la longueur d’onde de travail dans l’infrarouge lointain disposé dans l’habitacle derrière ledit vitrage et en regard d’un insert transparent à la longueur d’onde de travail logé au niveau d’un trou traversant du vitrage. Certains modes de réalisations avantageux mais non limitatif de la présente invention sont décrits ci-après, qui peuvent bien entendu combinés entres eux le cas échéant.
L’invention concerne une méthode d’analyse de la qualité optique d’une région (de préférence limitée) d’un vitrage de préférence bombé (par exemple suivant au moins un ou deux rayons de courbures) à partir d’analyse d’images d’une mire, qui comprend un certain nombre d’étapes avec de sous étapes en particulier :
1) une première étape d’acquisition d’images numériques comportant:
- une acquisition d’au moins une image d’une première mire M1 fixe comportant un premier ensemble de motifs s’étendant selon deux dimensions, à une distance L1 au moins centimétrique d’un dispositif optique d’acquisition d’images suivant l’axe optique du dispositif optique, acquisition comportant ainsi dans n’importe quel ordre les sous étapes suivantes: la) la mise à disposition d’une première image de référence h, théorique ou acquise, de la mire M1 de préférence dans la profondeur de champ du dispositif optique, en l’absence dudit vitrage,
1’a) le vitrage étant placé entre le dispositif optique et la première mire M1 , avec ladite région de surface dans le champ de vue du dispositif optique, l’acquisition d’une première image déformée l’i de ladite première mire M1 ,
- une acquisition d’au moins une image d’une mire Mi fixe choisie parmi la première mire M1 ou une autre mire M2 comportant un deuxième ensemble de motifs s’étendant selon deux dimensions, mire Mi à une distance L2 distincte de L1 du dispositif optique suivant l’axe optique du dispositif optique, acquisition comprenant ainsi, dans n’importe quel ordre les sous étapes suivantes: lb) la mise à disposition d’une deuxième image de référence I2, théorique ou acquise, de la mire Mi, de préférence dans la profondeur de champ du dispositif optique, en l’absence dudit vitrage
1 ’b) le vitrage étant placé entre le dispositif optique et la mire Mi, avec ladite région dans le champ de vue du dispositif optique, l’acquisition d’une deuxième image déformée G2 de la mire Mi. De préférence les sous étapes 1 ’a) et 1 ’b) sont faites sans déplacement du vitrage par rapport au dispositif optique et même sans déplacement du vitrage et du dispositif optique, les sous étapes 1’a) et 1 ’b) étant au moins successives et de préférence simultanées lorsque Mi est la deuxième mire M2.
Dans un cas, Mi est la deuxième mire M2, avec L2>L1 , la première mire M1 occultant la mire M2, les sous étapes 1 b) et 1 ’b) sont en l’absence de M1 .
Dans un autre cas, Mi est la deuxième mire M2, les acquisitions de l’étape 1) sont en présence de M1 et M2, de préférence acquisitions successives ou simultanées des sous étapes 1 ’a) et 1 ’b), en particulier le dispositif est polychromatique, la première image déformée l '1 contenant des motifs de couleur Co’1 et la deuxième image déformée G2 contenant des motifs de couleur Co’2 distincte de Co’1 .
En particulier les acquisitions des sous étapes 1’a) et 1 ’b) sont simultanées, les éventuelles acquisitions des sous étapes 1a) et 1 b) sont simultanées et la première image déformée l '1 et la deuxième image déformée G2 sont combinées sur une image commune déformée l’1c, avant l’étape 3), on segmente l’image commune l’1c de façon à obtenir les images l '1 et G2 et éventuellement la première image de référence 11 et la deuxième image de référence I2 sont combinées sur une image commune 11c et avant l’étape 3), on segmente l’image commune 11c de façon à obtenir les images 11 et I2.
Après ou au fur et à mesure de l’acquisition d’images 1 ), la méthode comporte : 2) une étape de génération de points d’images qui sont :
- des premiers points de la première mire M1 sur la première image 11 correspondant à des points physiques ou simulés de la première mire M1
- des premiers autres points dits décalés de la première mire M1 sur la première image déformée l '1 correspondant aux mêmes points de la première mire M1
- des deuxième points de la mire Mi sur la deuxième image I2 correspondant à des points physiques ou simulés de la mire Mi
- des deuxième autres points dits décalés de la deuxième mire M2 sur la deuxième image déformée G2 correspondant aux mêmes points de la mire Mi. Dans un cas, l’étape 2) peut comporter une détection de points, notamment par détection sous pixel de points,
2a) une détection d’un point physique ou simulé dit point d’origine de la mire M1 repéré par des coordonnées sur la première image 11
2b) une détection dudit point d’origine de la mire M1 repéré par des coordonnées sur la première image déformée l '1
2c) une détection desdits premiers points qui sont des points d’intérêt représentatifs des motifs-de la première mire M1 sur la première image 11 2d) une détection des premiers autres points qui sont des points d’intérêt représentatifs des motifs-de la première mire M1 sur la première image déformée l '1
2’a) une détection d’un autre point physique ou simulé dit autre point d’origine Oi de la mire Mi repéré par des coordonnées sur la deuxième image I2,
2’b) une détection dudit autre point d’origine Oi de la mire Mi repéré par des coordonnées sur la deuxième image déformée G2,
2’c) une détection des deuxièmes points qui sont des points d’intérêt représentatifs des motifs-de la mire Mi sur la deuxième image I2 2’d) une détection des deuxièmes autres points qui sont des points d’intérêt représentatifs des motifs-de la mire Mi sur la deuxième image déformée G2. Après ou au fur et à mesure de la détection un ordonnancement des points d’intérêts :
2e) les premiers points d’intérêts étant ordonnés par rapport au point d’origine 01 repéré sur la première image 11
2f) les autres premiers points d’intérêts étant ordonnés par rapport au point d’origine 01 repéré sur la première image déformée l '1
2’e) les deuxièmes points d’intérêts étant ordonnés par rapport à l’autre point d’origine Oi repéré sur la deuxième image I2
2’f) les deuxièmes autres points d’intérêts étant ordonnés par rapport à l’autre point d’origine Oi repéré sur la deuxième image déformée G2.
Et après ou au fur et à mesure de l’ordonnancement, la méthode comporte :
- la formation (automatique) de premières paires et deuxièmes paires des points d’intérêts ordonnés, chaque première paire comportant premier point d’intérêt et son premier autre point d’intérêt décalé, chaque deuxième paire comportant deuxième point d’intérêt et son deuxième autre point d’intérêt décalé.
Les points d’intérêts sont choisis parmi :
- points dans lignes d’intersection entre motifs de pavage de la mire M1 ou Mi, notamment coins d’un motif d’un damier,
- centroides de motifs formant un réseau de motifs disjoints de la mire M1 ou Mi. Alternativement l’étape 2) est basée sur la corrélation d’images numériques, et comprend :
- la comparaison de portions d’images de la première image 11 avec la première image déformée l '1 ou inversement la comparaison de portions d’images déformées de la première image déformée l '1 avec la première image 11 , de préférence les premiers points sont les centres C1 des portions d’images et les premiers points décalés sont les centres C’1 des portions d’images déformées.
- la comparaison de portions d’images de la deuxième image avec la deuxième image déformée l '1 ou inversement la comparaison de portions d’images déformées de la première image déformée 2 avec la première image I2, les deuxièmes points sont de préférence les centres des portions d’images, les deuxième points décalés sont les centres des portions d’images déformées. Après ou en fur et à mesure de l’étape 2), la méthode comporte :
3) une étape de détermination, par calcul, d’un champ de premiers déplacements apparents, en pixels, entre chaque premier point et son autre premier point décalé correspondant et d’un champ de deuxième déplacements apparents, en pixels, entre chaque deuxième point et son deuxième point décalé correspondant.
Après l’étape 3) la méthode comporte :
4) une étape de détermination, par calcul, à l’aide des champs des premiers et deuxième déplacements apparents, d’un champ de déplacements apparents simulé, de points, pour une distance L3 distincte de L1 et L2 d’une mire avec le dispositif optique.
La présente invention est maintenant décrite à l’aide d’exemples uniquement illustratifs et nullement limitatifs de la portée de l’invention, et à partir des illustrations jointes, dans lesquelles : [Fig. 1] ou figure 1 représente schématiquement en vue de face un vitrage 100 pour véhicule automobile, tel qu’un parebrise.
Les figures suivantes illustrent un système pour la mise en œuvre d’une première étape 1 ) de la méthode d’analyse de la qualité optique de la région délimitée du vitrage selon un premier aspect de l’invention :
[Fig. 2] ou figure 2 est une représentation schématique du système pour la mise en œuvre d’une sous étape 1a) de la première étape.
[Fig. 3] ou figure 3 est une représentation schématique du système pour la mise en œuvre d’une sous étape 1 ’a) de la première étape.
[Fig. 4] ou figure 4 est une représentation schématique du système pour la mise en œuvre d’une sous étape 1 b) de la première étape.
[Fig. 5] ou figure 5 est une représentation schématique du système pour la mise en œuvre d’une sous étape 1 ’b) de la première étape.
[Fig. 6] ou figure 6 est une représentation schématique explicative de la méthode selon l’invention avec un système d’une première mire M1 à L1 et d’une première mire M1 (déplacée) ou M2 à L2.
Les figures suivantes illustrent un système pour la mise en œuvre d’une première étape 1 ) de la méthode d’analyse de la qualité optique de la région délimitée du vitrage selon un deuxième aspect de l’invention :
[Fig. 7] ou figure 7 est une représentation schématique du système pour la mise en œuvre d’une sous étape 1a) de la première étape.
[Fig. 8] ou figure 8 est une représentation schématique du système pour la mise en œuvre d’une sous étape 1 ’a) de la première étape.
[Fig. 9] ou figure 9 est une représentation schématique d’une image de référence avec un champ de premiers déplacements apparents.
[Fig. 10] ou figure 10 est une cartographie 301 des premiers déplacements apparents interpolés pour L1 de 0,5m.
[Fig. 11] ou figure 11 est une cartographie des deuxièmes déplacements apparents interpolés pour L2 de 0,75m.
[Fig. 12] ou figure 12 est une cartographie de troisièmes déplacements apparents interpolés pour L3 de 1 m mesuré à titre de vérification expérimentale. [Fig. 13] ou figure 13 est une cartographie prédictive de déplacements apparents simulés pour L3 de 1m calculée à partir des cartographies 301 et 302.
[Fig. 14] ou figure 14 est une cartographie de l’écart entre troisième déplacements apparents et déplacements apparents simulés.
Les figures suivantes illustrent la méthode de corrélation d’images numériques utilisée pour aboutir à l’étape 3).
[Fig. 15] ou figure 15 montre une première image de référence d’une mire de référence M1 à motifs (points) aléatoire 401 et une portion d’image Im 11 de la première image déformée l '1 .
[Fig. 16] ou figure 16 montre un champ de premiers déplacements pour quatre portions d’images disjointes de la première image déformée.
[Fig. 17] ou figure 17 est une représentation schématique d’un vitrage comprenant une zone délimitée étant destinée à être placée sur le trajet optique d’un dispositif optique tel qu’une caméra.
[Fig. 18] ou figure 18 est une représentation schématique en vue de côté d’un vitrage comprenant une zone délimitée étant destinée à être placée sur le trajet optique d’un dispositif optique tel qu’une caméra.
La figure 1 représente schématiquement un vitrage 100 pour véhicule automobile, tel qu’un parebrise.
Le vitrage 100 comprend une feuille de verre 1 et une bande d’émail 12. La bande d’émail 12 forme une zone délimitée 10 destinée à être placée sur le trajet optique d’un dispositif optique, tel qu’une caméra d’un système intelligent d’assistance à la conduite. La surface de la zone délimitée est généralement inférieure à 0,5m2. La bande d’émail 12 peut être disposée totalement sur la surface d’une seule des deux faces principales de la feuille de verre 1 , ou être divisée en plusieurs parties, chacune des parties étant disposés sur l’une et sur l’autre des faces de la feuille de verre 1 et l’ensemble des parties formant globalement une zone délimitée 10. Dans le cas d’un vitrage multiple comprenant plusieurs feuilles de verre, tel qu’un vitrage feuilleté, la bande d’émail peut aussi être en plusieurs parties, chaque partie étant disposée sur la surface de deux ou plusieurs feuilles de verre selon le nombre de parties de manière à former une zone délimitée. Les figures suivantes illustrent un système pour la mise en œuvre d’une première étape 1 ) de la méthode d’analyse de la qualité optique de la région délimitée du vitrage selon un premier aspect de l’invention.
La figure 2 est une représentation schématique du système pour la mise en œuvre d’une sous étape 1a) de la première étape à savoir :
- l’acquisition d’une première image de référence h d’une mire M1 31 fixe (et éclairée) comportant un premier ensemble de motifs (contrastés) 32, 33 s’étendant selon deux dimensions (X, Y orthogonaux notamment Y axe vertical), de préférence motifs 2D - en particulier sur un premier panneau (notamment plan) -, à une distance L1 au moins centimétrique et de préférence d’au plus 5m d’un dispositif optique d’acquisition d’images (numériques) 2 suivant l’axe optique (Z) du dispositif optique, notamment au moins 10, 50 ou mieux 100 motifs dans la profondeur de champ.
La figure 3 est une représentation schématique du système pour la mise en œuvre d’une sous étape 1 ’a) de la première étape à savoir le vitrage 100 étant placé entre le dispositif optique 2 et la première mire M1 31 , avec ladite région de surface dans le champ de vue du dispositif optique, l’acquisition d’une première image déformée l’i de ladite première mire M1 (physique), 31 à L1 .
Le vitrage (bombé) est incliné suivant un premier angle de préférence identique à l’angle du vitrage ou +/-5° ou +/- 1 ° en position monté dans un véhicule.
La figure 4 est une représentation schématique du système pour la mise en œuvre d’une sous étape 1 ’b) de la première étape à savoir le vitrage 100 restant placé entre le dispositif optique 2 et la première mire M1 31 , avec ladite région de surface dans le champ de vue du dispositif optique, l’acquisition d’une deuxième image déformée G2 de ladite première mire M1 (physique), 31 à une distance L2 distincte de L1 du dispositif optique 2, de préférence L2- L1 en valeur absolue est au moins 1 cm ou 10 cm ou 20cm.
La figure 5 est une représentation schématique du système pour la mise en œuvre d’une sous étape 1a) de la première étape à savoir l’acquisition d’une deuxième image de référence I2 de la mire M1 31 fixe (et éclairée) à la distance L2 (vitrage absent).
La figure 6 est une représentation schématique explicative de la méthode selon l’invention avec un système 30”d’une mire M1 à L1 de l’objectif 22 et un système 30’ à L2 de la première mire M1 (déplacée) ou de la mire M2 de l’objectif 22.
On représente les points A1 , A2 points objets réels respectivement dans le plan 30” à L1 ou dans le plan 30’ à L2 comme sources d’un rayon lumineux faisant un angle :
[Math 5] α = αA1 = αA2 par rapport à l’axe optique Z (horizontale). En l’absence de l’élément transparent 100’, ce rayon passe au centre de l’objectif 22 (approximé par une lentille mince) pour finalement atteindre le point image A’ sur le détecteur 21 .
Le détecteur 21 est positionné de préférence de façon à ce que le focus soit fait sur le plan contenant l’objet réel A1 (respectivement A2) à distance L1 (respectivement L2), chaque plan étant successivement de préférence dans la profondeur de champ de l’objectif.
En présence de l’élément transparent 100’, un rayon issu de A1 ou A2 ou passant par A1 et A2 et faisant un angle [Math 6] α = αA1 = αA2 par rapport à l’axe optique Z est réfracté dans l’élément transparent 100’ entre un point d’entrée H1 est un point de sortie H2 puis passe en un point G sur l’objectif 22 (approximé par une lentille mince) pour finalement atteindre un point BΊ (respectivement B’2) sur le détecteur 21 à la distance de mise au point f1 (respectivement f2). On a représenté le cas avec AΊ et BΊ sur la figure 6. B1 et B2 sont des points objets virtuels, respectivement contenus dans les plans à L1 et à L2 de l’objectif 22 et représentant les positions apparentes des objets réels A1 et A2 du fait de la réfraction dans l’élément transparent 100’.
L’angle avec l’axe optique Z (l’horizontale) du rayon virtuel au point Bi est noté αBi avec {i, j} ∈ {1,2}
Les points virtuels Bi sont définis par leur position yBi avec {i,j} e {1,2} :
[Math 7]
On définit l’angle b comme l’angle du rayon lumineux issu de A1 ou A2 ou passant par A1 et A2 après sa traversée dans l’élément transparent 100, c’est à dire entre les points H2 et G. Le rayon va donc intercepter l’objectif 22 au point yG: [Math 8] où {i, j} ∈ {1,2}
Sur le détecteur 21 , les points A/ et B/ sont définis par leurs positions yA, et yB,: [Math 9]
[Math 10]
[Math 11]
P est la taille du pixel physique sur le détecteur 21 γ1 et Y2 sont les grandissements définis par :
[Math 12]
Et [Math 13] avec f0 la focale de l’objectif. pi étant le premier déplacement apparent de A1 vers B1 P2 étant le deuxième déplacement apparent de A2 vers B2.
Et :
[Math 14]
[Math 15]
Où tan b représente l’effet de la réfraction dans 100 du rayon issu de avec un angle a. p1, p2, L1, L2,γ1,y2 et P sont alors connus ou déterminés.
On trouve donc que : [Math 16]
On introduit alors une troisième distance L3, distincte de L1 et L2 pour laquelle nous pouvons définir un troisième déplacement apparent d’une mire simulée à cette distance L3 :
[Math 17] Avec [Math 18]
Il est facile de généraliser les déplacements apparents pi en tout pixel et la formule précédent reste valide en tout pixel quand p1 et p2 décrivent les champs de déplacements apparents en tout pixel.
Les figures suivantes illustrent un système pour la mise en œuvre d’une première étape 1 ) de la méthode d’analyse de la qualité optique de la région délimitée du vitrage selon un deuxième aspect de l’invention.
La figure 7 est une représentation schématique du système pour la mise en œuvre d’une sous étape simultanée de 1a) et 1 b) de la première étape.
On acquiert les deux images de références en même temps grâce à des mires M1 coloré 31 à damier 32, 32’ et M2 colorée 31 ’ à damier 32, 32’ adaptées et respectivement à L1 et L2 (couleurs différentes).
M1 31 est plus proche du dispositif optique 2’ de type RBG.
La figure 8 est une représentation schématique du système pour la mise en œuvre d’une sous étape simultanée 1 ’a) et 1 ’b) de la première étape.
On acquiert les deux images déformées en même temps grâce aux mires M1 31 à damier 32, 32’ et M2 31’ à damier 32, 32’ adaptées.
Le vitrage 100 est entre la première M1 31 et le dispositif optique 2’.
La figure 9 est une représentation schématique 200 d’une image de référence (d’un damier de motifs noirs et blancs correspondant à la première mire M1 ) avec un champ de premiers déplacements apparents p1 i par paires de premiers points d’intérêts (K1i K’1i) qui sont les coins des motifs.
On représente ici 4 paires (K11 K’11) (K12 K’1i2) (K1i3 K’1i3) (K1i4 K’1i4), avec 4 premiers déplacements apparents p11 p12 p13 et p14.
On a représenté aussi le point d’origine 01 . La figure 10 est une cartographie 301 des premiers déplacements apparents interpolés pour L1 de 0,5m.
Les conditions expérimentales sont les suivantes :
- fo= 16mm,
- le capteur (photodétecteur) est matriciel est de 1624*1220
- taille de pixel p de 4,4μm.
Les motifs de la mire à damier M1 sont des carrés de coté 5,4mm.
Le vitrage est incliné à 30° par rapport à l’horizontal.
La figure 11 est une cartographie 302 des deuxièmes déplacements apparents interpolés pour L2 de 0,75m.
Les motifs de la mire à damier M2 sont des carrés de coté 8,1mm.
La figure 12 est une cartographie 303 de troisièmes déplacements apparents interpolés pour L3 de 1m mesuré à titre de vérification expérimentale.
Les motifs de la mire à damier M2 sont des carrés de coté 10,8mm.
La figure 13 est une cartographie prédictive 304 de déplacements apparents simulés pour L3 de 1m calculée à partir des cartographies 301 et 302.
La figure 14 est une cartographie 305 de l’écart entre troisièmes déplacements apparents et déplacements apparents simulés.
L’écart est suffisamment faible pour valider la méthode selon l’invention.
Les figures suivantes illustrent la méthode de corrélation d’images numériques utilisée pour aboutir à l’étape 3).
La figure 15 montre une première image de référence 400 d’une mire de référence M1 à motifs (points) aléatoire 401 et une portion d’image Im 11 de la première image déformée l '1 qui est une fenêtre glissante sur la première image de référence jusqu’à trouver la meilleure localisation de la portion d’image sur l’image d’origine (calcul de la fonction de corrélation entre la portion d’image déformée et des portions de l’image de référence de taille équivalente, la meilleure localisation est définie par une fonction de corrélation maximale). On identifie le point central de cette portion d’image déformée et le point central de la portion d’image de référence équivalente. Le premier déplacement apparent est calculé entre les deux points centraux des portions d’images. La figure 16 montre un champ de premiers déplacements pour quatre portions d’images disjointes de la première image déformée Im11, Iml2, Iml3 et Iml4. Chaque premier déplacement p11 p12 p13 p14 apparent est illustrés entre les deux points centraux (C11, C’11) (C12, C’12) (C13, C’13) (C14, C’14) des portions d’images.
La figure 17 est une représentation schématique d’un vitrage 1000 comprenant une zone délimitée 10 étant destinée à être placée sur le trajet optique d’un dispositif optique tel qu’une caméra.
Le vitrage 1000 intègre un dispositif de stockage de données 2000 sous la forme d’une matrice de données ou d’un code-barre qui renvoie à une base de données contenant la cartographie des déplacements apparents simulés. Le dispositif de stockage de données est sur ledit vitrage imprimé en périphérie dans une épargne de la bande d’émail 12 sur le vitrage (en face intérieure 11 par exemple).
La figure 18 est une représentation schématique en vue de côté d’un vitrage selon la figure 17 comprenant la zone délimitée placée sur le trajet optique d’un dispositif optique ADAS tel qu’une caméra 2”.
La zone délimitée est une zone délimitée par des bords, en particulier des bords opaques, notamment des bords formés par des éléments de décoration permettant de cacher à la vue des éléments de dispositifs, tels que des dispositifs de systèmes intelligents embarqués, disposés derrière le vitrage.
La zone délimitée peut avoir des formes diverses et/ou comprendre des éléments fonctionnels supplémentaires selon les utilisations :
-zone délimitée trapézoïdale avec un bord inférieur ouvert,
-zone délimitée en deux partie, l’une sous la forme rectangulaire à bords arrondis avec et l’autre, plus petite, sous la forme d’un cercle.
La partie sous la forme de cercle peut par exemple servir à l’installation d’un dispositif complémentaire tel qu’un capteur de pluie ou de luminosité extérieure. En variante, la partie rectangulaire à bords arrondis comprend en outre une bande d’estompage sur sa périphérie extérieure. La zone délimitée peut comprendre un élément chauffant sur sa surface, permettant d’éliminer toute buée ou givre susceptible de se former sur ladite surface et gêner l’acquisition d’un dispositif optique placé en regard.
De manière générale, dans le cadre de l’invention, mais sans aucun caractère limitatif, la zone délimitée du vitrage est une zone délimitée par au moins deux bords, de préférence trois bords.

Claims

REVENDICATIONS
Revendication 1. Méthode d’analyse de la qualité optique d’une région d’un vitrage à partir d’analyse d’images d’une mire, caractérisé en ce qu’elle comprend:
1) une étape d’acquisition d’images numériques comportant:
- une acquisition d’au moins une image d’une première mire M1 fixe comportant un premier ensemble de motifs s’étendant selon deux dimensions, à une distance L1 au moins centimétrique d’un dispositif optique d’acquisition d’images suivant l’axe optique du dispositif optique, acquisition comportant ainsi dans n’importe quel ordre les sous étapes suivantes: la) la mise à disposition d’une première image de référence h, théorique ou acquise, de la mire M1 de préférence dans la profondeur de champ du dispositif optique, en l’absence dudit vitrage,
1’a) le vitrage étant placé entre le dispositif optique et la première mire M1 , avec ladite région de surface dans le champ de vue du dispositif optique, l’acquisition d’une première image déformée l’1 de ladite première mire M1 ,
- une acquisition d’au moins une image d’une mire Mi fixe choisie parmi la première mire M1 ou une autre mire M2 comportant un deuxième ensemble de motifs s’étendant selon deux dimensions, mire Mi à une distance L2 distincte de L1 du dispositif optique suivant l’axe optique du dispositif optique, acquisition comprenant ainsi, dans n’importe quel ordre les sous étapes suivantes:
1b) la mise à disposition d’une deuxième image de référence I2, théorique ou acquise, de la mire Mi, de préférence dans la profondeur de champ du dispositif optique, en l’absence dudit vitrage
1 ’b) le vitrage étant placé entre le dispositif optique et la mire Mi, avec ladite région dans le champ de vue du dispositif optique, l’acquisition d’une deuxième image déformée G2 de la mire Mi, en ce qu’après ou au fur et à mesure de l’acquisition d’images 1 ), la méthode comporte : 2) une étape de génération de points d’images qui sont :
- des premiers points de la première mire M1 sur la première image de référence 11 correspondant à des points de la première mire M1
- des premiers autres points dits décalés de la première mire M1 sur la première image déformée G1 correspondant aux mêmes points de la première mire M1
- des deuxième points de la mire Mi sur la deuxième image de référence I2 correspondant à des points de la mire Mi
- des deuxième autres points dits décalés de la deuxième mire M2 sur la deuxième image déformée G2 correspondant aux mêmes points de la mire Mi et en ce qu’après ou en fur et à mesure de l’étape 2), la méthode comporte :
3) une étape de détermination, par calcul, d’un champ de premiers déplacements apparents, en pixels, entre chaque premier point et son autre premier point décalé correspondant et d’un champ de deuxièmes déplacements apparents, en pixels, entre chaque deuxième point et son deuxième point décalé correspondant et en ce qu’après l’étape 3) la méthode comporte :
4) une étape de détermination, par calcul, à l’aide des champs des premiers et deuxièmes déplacements apparents, d’un champ de déplacements apparents simulé, de points, pour une distance L3 distincte de L1 et L2 d’une mire avec le dispositif optique.
Revendication 2. Méthode d’analyse de la qualité optique d’une région d’un vitrage selon la revendication 1 caractérisé en ce que les sous étapes 1 ’a) et 1 ’b) sont faites sans déplacement du vitrage par rapport au dispositif optique et même sans déplacement du vitrage et du dispositif optique, les sous étapes 1 ’a) et 1 ’b) étant au moins successives et de préférence simultanées lorsque Mi est la deuxième mire M2.
Revendication 3. Méthode d’analyse de la qualité optique d’une région d’un vitrage selon l’une des revendications précédentes caractérisé en ce que Mi est la deuxième mire M2, avec L2>L1 , la première mire M1 occultant la mire M2, les sous étapes 1 b) et 1 ’b) sont en l’absence de M1 .
Revendication 4. Méthode d’analyse de la qualité optique d’une région d’un vitrage selon l’une des revendications 1 ou 2 caractérisé en ce que Mi est la deuxième mire M2, les acquisitions de l’étape 1) sont en présence de M1 et M2, de préférence acquisitions successives ou simultanées des sous étapes 1’a) et 1’b), en particulier le dispositif est polychromatique, la première image déforméel '1 contenant des motifs de couleur Co’1 et la deuxième image déformée G2 contenant des motifs de couleur Co’2 distincte de Co’1 .
Revendication 5. Méthode d’analyse de la qualité optique d’une région d’un vitrage selon la revendication précédente caractérisé en ce que les acquisitions des sous étapes 1 ’a) et 1 ’b) sont simultanées, les éventuelles acquisitions des sous étapes 1 a) et 1 b) sont simultanées et en ce que la première image déformée l '1 et la deuxième image déformée G2 sont combinées sur une image commune déformée l’1c, avant l’étape 3), on segmente l’image commune l’1c de façon à obtenir les images l '1 et G2 et éventuellement la première image de référence 11 et la deuxième image de référence I2 sont combinées sur une image de référence commune 11c et avant l’étape 3), on segmente l’image de référence commune 11c de façon à obtenir les images de référence 11 et I2. Revendication 6. Méthode d’analyse de la qualité optique d’une région d’un vitrage selon l’une des revendications précédentes caractérisé en ce que l’étape 2) comporte une détection de points, notamment par détection sous pixel de points,
2a) une détection d’un point physique ou simulé dit point d’origine 01 de la mire M1 repéré par des coordonnées sur la première image de référence 11 2b) une détection dudit point d’origine 01 de la première mire M1 repéré par des coordonnées sur la première image déformée l '1
2c) une détection desdits premiers points qui sont des points d’intérêt représentatifs des motifs-de la première mire M1 sur la première image de référence 11
2d) une détection des premiers autres points qui sont des points d’intérêt représentatifs des motifs-de la première mire M1 sur la première image déformée l '1
2’a) une détection d’un autre point physique ou simulé dit autre point d’origine Oi de la mire Mi repéré par des coordonnées sur la deuxième image de référence I2, 2’b) une détection dudit autre point d’origine Oi de la mire Mi repéré par des coordonnées sur la deuxième image déformée G2,
2’c) une détection des deuxièmes points qui sont des points d’intérêt représentatifs des motifs-de la mire Mi sur la deuxième image de référence 12 2’d) une détection des deuxièmes autres points qui sont des points d’intérêt représentatifs des motifs-de la mire Mi sur la deuxième image déformée G2 en ce qu’ après ou au fur et à mesure de la détection un ordonnancement des points d’intérêts :
2e) les premiers points d’intérêts étant ordonnés par rapport au point d’origine 01 repéré sur la première image de référence 11
2f) les autres premiers points d’intérêts étant ordonnés par rapport au point d’origine 01 repéré sur la première image déformée l '1
2’e) les deuxièmes points d’intérêts étant ordonnés par rapport à l’autre point d’origine Oi repéré sur la deuxième image de référence I2
2’f) les deuxièmes autres points d’intérêts étant ordonnés par rapport à l’autre point d’origine Oi repéré sur la deuxième image déformée G2, et en ce qu’après ou au fur et à mesure de l’ordonnancement, la méthode comporte
- la formation (automatique) de premières paires et deuxièmes paires des points d’intérêts ordonnés, chaque première paire comportant premier point d’intérêt et son premier autre point d’intérêt décalé, chaque deuxième paire comportant deuxième point d’intérêt et son deuxième autre point d’intérêt décalé. Revendication 7. Méthode d’analyse de la qualité optique d’une région d’un vitrage selon la revendication précédente caractérisé en ce que les points d’intérêts sont choisis parmi :
- points dans lignes d’intersection d'une mire grille ou entre motifs de pavage de la mire M1 ou Mi, notamment coins d’un motif d’un damier,
- centroides de motifs formant un réseau de motifs disjoints de la première mire M1 ou Mi.
Revendication 8. Méthode d’analyse de la qualité optique d’une région d’un vitrage selon l’une des revendications précédentes caractérisé en ce que l’étape 2) est basée sur la corrélation d’images numériques, et comprend : - la comparaison de portions d’images de la première image de référence 11 avec la première image déformée G1 ou inversement la comparaison de portions d’images déformées de la première image déformée l '1 avec la première image de référence 11 , de préférence les premiers points sont les centres C1 des portions d’images de référence et les premiers points décalés sont les centres C’1 des portions d’images déformées,
- la comparaison de portions d’images de la deuxième image de référence avec la deuxième image déformée l '1 ou inversement la comparaison de portions d’images déformées de la deuxième image déformée G2 avec la deuxième image de référence I2, les deuxièmes points sont de préférence les centres des portions d’images de référence, les deuxièmes points décalés sont les centres des portions d’images déformées.
Revendication 9. Méthode d’analyse de la qualité optique d’une région d’un vitrage selon l’une des revendications précédentes caractérisé en ce qu’elle comprend un établissement d’une cartographie dite prédictive, en tout pixel, des déplacements apparents simulés p3 notamment par interpolation des premiers et deuxièmes déplacements apparents.
Revendication 10. Méthode d’analyse de la qualité optique d’une région d’un vitrage selon la revendication précédente caractérisé en ce que le calcul de chaque déplacement apparent simulé p3 en tout pixel est obtenu à partir de la formule suivante :
[Math 19] dans laquelle γ1 γ2 et γ3 sont les grandissements définis par : [Math 20]
[Math 21] [Math 22] fo étant la focale du dispositif optique p1 étant le premier déplacement apparent en tout pixel p2 étant le deuxième déplacement apparent en tout pixel.
Revendication 11. Méthode de calibration d’une caméra optique placée dans l’habitacle d’un véhicule dans le champ de vue d’une région dudit vitrage de véhicule formant zone caméra analysée selon la méthode d’analyse selon l’une des revendications précédentes, calibration utilisant la cartographie des déplacements apparents simulés selon la revendication 9 ou 10.
Revendication 12. Véhicule notamment autonome ou semi-autonome, comportant le vitrage et ladite caméra calibrée selon la revendication précédente, notamment une caméra positionnée pour recevoir un rayonnement lumineux traversant le vitrage au travers de ladite région formant zone caméra, région éventuellement comportant dans un trou partiel du vitrage ou un trou traversant du vitrage logeant un insert, notamment caméra choisie parmi :caméra dans le visible, dans l’infrarouge, en particulier LIDAR ; caméra thermique. Revendication 13. Vitrage de véhicule routier ou ferroviaire, caractérisé en ce qu’il intègre un dispositif de stockage de données sous la forme d’une matrice de données ou d’un code-barre qui renvoie à une base de données contenant la cartographie des déplacements apparents simulés selon la revendication 9 ou 10 notamment le dispositif de stockage de données est sur ledit vitrage (10), notamment en périphérie.
Revendication 14. Véhicule notamment autonome ou semi-autonome, comportant le vitrage selon la revendication 13 un dispositif d’acquisition d’images dans l’habitacle, notamment une caméra optique positionnée pour recevoir un rayonnement lumineux traversant le vitrage au travers de ladite région formant zone caméra, notamment caméra choisie parmi :caméra dans le visible, dans l’infrarouge, en particulier LIDAR; caméra thermique..
EP22744805.7A 2021-06-30 2022-06-28 Méthode d'analyse de la qualité optique d'un vitrage, méthode de calibration d'une caméra, vitrage analysé Pending EP4364108A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2107080A FR3124782B1 (fr) 2021-06-30 2021-06-30 Méthode d’analyse de la qualité optique d’un vitrage, méthode de calibration d’une caméra, vitrage analysé
PCT/FR2022/051287 WO2023275486A1 (fr) 2021-06-30 2022-06-28 Méthode d'analyse de la qualité optique d'un vitrage, méthode de calibration d'une caméra, vitrage analysé

Publications (1)

Publication Number Publication Date
EP4364108A1 true EP4364108A1 (fr) 2024-05-08

Family

ID=77411875

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22744805.7A Pending EP4364108A1 (fr) 2021-06-30 2022-06-28 Méthode d'analyse de la qualité optique d'un vitrage, méthode de calibration d'une caméra, vitrage analysé

Country Status (4)

Country Link
EP (1) EP4364108A1 (fr)
CN (1) CN115735234A (fr)
FR (1) FR3124782B1 (fr)
WO (1) WO2023275486A1 (fr)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3101420A1 (fr) * 2019-09-30 2021-04-02 Saint-Gobain Glass France Méthode d’évaluation de la qualité optique d’une zone délimitée d’un vitrage

Also Published As

Publication number Publication date
FR3124782B1 (fr) 2023-12-08
FR3124782A1 (fr) 2023-01-06
CN115735234A (zh) 2023-03-03
WO2023275486A1 (fr) 2023-01-05

Similar Documents

Publication Publication Date Title
Fade et al. Long-range polarimetric imaging through fog
BE1022486B1 (fr) Un systeme d'appareil de prise de vues tof et une methode pour mesurer une distance avec le systeme
EP1989582B1 (fr) Procede et dispositif d'identification et de calibration de systemes optiques panoramiques
EP2333481B1 (fr) Système optronique et procédé d'élaboration d'images en trois dimensions dédiés à l'identification
FR2936605A1 (fr) Dispositif d'analyse de la surface d'un substrat
FR2633476A1 (fr) Systemes de visualisation que l'on peut regarder sans devoir baisser la tete
CA2880145C (fr) Procede de controle non destructif d'une preforme d'aube
JP7163060B2 (ja) 迅速な複合材製造の高速度低ノイズインプロセスハイパースペクトル非破壊評価のためのシステム及び方法
WO2021048066A1 (fr) Ensemble de détection de défauts sur une carrosserie d'un véhicule automobile
FR2923006A1 (fr) Dispositif optique pour l'observation de details structurels millimetriques ou submillimetriques d'un objet a comportement speculaire
AU2020397496A1 (en) Method for measuring the optical quality of a given region of a glazing unit, associated measuring device
WO1999064816A1 (fr) Procede et dispositif d'acquisition opto-electrique de formes par illumination axiale
US9759671B2 (en) Device and method for measuring panes, in particular windscreens of vehicles
EP4364108A1 (fr) Méthode d'analyse de la qualité optique d'un vitrage, méthode de calibration d'une caméra, vitrage analysé
CA3152356A1 (fr) Methode d'evaluation de la qualite optique d'une zone delimitee d'un vitrage
EP2616764A1 (fr) Dispositif et procédé de mesure de la forme d'un miroir ou d'une surface speculaire
EP2732401B1 (fr) Dispositif et procede d'imagerie pour produire une image de marquages routiers
FR3056501A1 (fr) Systeme d'aide a l'identification d'un vehicule automobile et son procede de mise en oeuvre
EP1791078A1 (fr) Procédé de détection d'obstacles mis en oeuvre au sein d'un véhicule automobile
KR101795728B1 (ko) 적외선 영상 측정 및 처리 시스템
EP2080153B1 (fr) Installation de détection de l'unicité d'une personne dans un volume
FR3088724A1 (fr) Dispositif de detection optique des defauts d’un materiau en feuille, muni de deux tetes de detection
FR3088723A1 (fr) Dispositif de detection optique des defauts d’un materiau en feuille, muni d’une chambre d’eclairage
WO2011010021A1 (fr) Procede de releve d'informations relatives a des panneaux de signalisation verticale, dispositif associe et application
EP0742432A1 (fr) Dispositif de contrÔle optique de la qualité d'articles transparents ou translucides

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240130

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR