EP3065989A2 - Dispositif de détection de la position latérale d'un piéton par rapport à la trajectoire du véhicule - Google Patents

Dispositif de détection de la position latérale d'un piéton par rapport à la trajectoire du véhicule

Info

Publication number
EP3065989A2
EP3065989A2 EP14825394.1A EP14825394A EP3065989A2 EP 3065989 A2 EP3065989 A2 EP 3065989A2 EP 14825394 A EP14825394 A EP 14825394A EP 3065989 A2 EP3065989 A2 EP 3065989A2
Authority
EP
European Patent Office
Prior art keywords
vehicle
trajectory
obstacle
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP14825394.1A
Other languages
German (de)
English (en)
Inventor
Stéphanie AMBROISE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Original Assignee
Renault SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS filed Critical Renault SAS
Publication of EP3065989A2 publication Critical patent/EP3065989A2/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Definitions

  • the subject of the invention is the systems for assisting the driving of a vehicle, and more particularly the systems for assisting in the identification of obstacles or persons in the path of the vehicle. If the driver is helped in his driving decisions by the bright reflective floor markings on the roadway, he does not always have the time to analyze the nature of the objects or people on the road. other of the roadway, in particular in bad visibility situation as in time of fog or night.
  • Different night vision systems are available on a motor vehicle. Such systems can detect pedestrians at night and highlight them through different human-machine interfaces (HMI).
  • HMI human-machine interfaces
  • the HMI can, for example, highlight the image area representing the pedestrian on a screen, or a pictogram symbolizing a pedestrian can appear on the dashboard.
  • the US patent application 2009 023 11 16 of the Toyota company indicates the position of the pedestrian detected with respect to the vehicle by projecting with the aid of LEDs, on the windshield of the vehicle, which project light beams supposed to frame the image. pedestrian as seen by the driver.
  • US Patent 2010 025 35 26 discloses a method of signaling an obj and or a pedestrian detected in front of the vehicle. The document proposes to indicate to the driver the direction of movement of the object and with respect to a direction transverse to the direction of the vehicle, but does not indicate the means by which the set of motion is determined.
  • the aim of the invention is to propose a driving assistance system which makes it possible not only to identify the position of a possible pedestrian with respect to the windshield of the vehicle or with respect to the digitized image on a screen, but which allows to give directly to the driver an information concerning the side towards which he will have to deviate his trajectory.
  • the invention proposes a device for assisting the driving of a vehicle comprising a camera and comprising an optical recognition device capable of recognizing an obstacle, in particular a pedestrian or an obstacle identified as potentially accidentogenic, in a vehicle. the field of view of the camera.
  • the device includes a trajectory estimation unit configured to define a right boundary curve and a trailing edge boundary curve superimposable to the camera image, and includes a lateral discrimination unit configured to output at least two image values.
  • the warning value is a function of the position of the obstacle image with respect to the right and left trajectories.
  • the two distinct warning values can be two different values assigned, according to the position of the image of the obstacle, to the same variable in memory.
  • the two warning values can, according to another variant of realization, correspond to two different memory variables, which can each take several values.
  • the right and left limit curves can be confused, and correspond for example to the predictable trajectory of a central point of the front bumper of the vehicle.
  • the right and left trajectories limits may for example correspond to traj ectoires predictable from the right and left edges of the vehicle, or may still correspond to these trajectories expanded a constant margin of safety.
  • the trajectory estimation unit can determine globally each right or left limit curve as a function of the instantaneous angle of the wheels of the vehicle, or as a function of parameters making it possible to go back to this angle of the steering wheels.
  • the trajectory estimation unit can determine each right or left limit curve taking into account recent variations in the angle of the wheels and extrapolating the variations of this angle of the wheels, for example to determine the portions of the trajectories most distant from the vehicle in the field of the camera.
  • obstacle or pedestrian is meant here an element detected by the image analysis system, with a particular signature, for example an infra-red type and / or a form factor signature and / or a typical motion type. , and / or a proximity or intersection with an area identified as the image of the roadway.
  • the forms detected as pedestrians may for example include a standing human being, a cyclist or a person in a wheelchair, a dog, a deer, a boar, a tree leaning towards the road ..., or, as other variants , on the contrary, to selectively understand standing and / or moving human beings.
  • the objects or pedestrians taken into account by the device may be limited to objects or pedestrians close to the roadway or objects or pedestrians encroaching on the roadway.
  • feet of the pedestrian or obstacle By feet of the pedestrian or obstacle, the following are the points of contact with the ground of the pedestrian or obstacle, or failing that, the bottom of the form detected, the "bottom” being understood according to the vertical axis of the image corresponding to the vertical lines of the filmed scene.
  • the device may be connected to an estimator of the angle of the steering wheels of the vehicle, and the trajectory estimating unit may be configured to define a right limit curve and a left limit curve of trajectory according to the angle of the steering wheels.
  • the steering wheel angle estimator may for example be connected to a steering wheel angle sensor of the vehicle and to a driving angle estimator. the speed of the vehicle, and use the history of these two values to calculate the angle of the wheels.
  • the right limit and the left trajectory limit can be determined according to the steering wheel angle, for example for a vehicle without power steering.
  • the trajectories or portions of trajectories can be calculated, or preferably mapped, for example depending on the angle of the wheels, to allow a rapid analysis of the situation when the pedestrian is detected.
  • the optical axis of the camera is at the time of estimation of the warning values, in a vertical plane comprising the direction of advance of the vehicle, the optical axis being oriented in a partially plunging direction .
  • a partially plunging direction here is meant a direction directed towards the ground, without being perpendicular to the plane.
  • one of the coordinates of the image typically a vertical ordinate of the image, can reflect both the distance of an object and in a horizontal plane in front of the vehicle, and the height of the image. an obj and s ensibly vertical.
  • the other coordinate represents a dimension s horizontally horizontal, transverse to the traj ectoire of the vehicle.
  • the lateral discrimination unit may be configured to determine a right intersection point, which is calculated as an intersection of the right trajectorial boundary, with a foot line of the obstacle.
  • the foot line is determined by the recognition system as bordering the image of the obstacle in a direction of the image corresponding to a horizontal axis transverse to the direction of advance of the vehicle.
  • the lateral discrimination unit may further be configured to determine a left intersection point, as an intersection between the left trajectorial boundary and the same foot line of the obstacle.
  • the lateral discrimination unit can for example calculate the abscissae of the two points of intersection, their ordinate being that of the foot line of the obstacle, therefore known.
  • the lateral discrimination unit may be configured to compare the abscissae of the right and left intersection points, with at least one abscissa characteristic of the detected obstacle.
  • the abscis characteristic of the detected obstacle can correspond for example to the abscissa of a barycenter of the image of the obstacle.
  • the lateral discrimination unit takes into account both a rightmost abscissa and an extreme left abscissa of the obstacle, the right and left extremum abscissae being determined by the recognition system such as those of FIG. two vertical lines bordering the image of the obstacle. Vertical lines are lines of the camera image corresponding to the vertical lines of the camera's field of view.
  • the lateral discrimination unit calculates only a central line of trajectory instead of a right and left limit of trajectory, calculates an intersection of the foot line with the center line of the line. traj ectoire, and then compares the position of this inters ection with abscissa characteristics of the detected obstacle, by checking if this abscis is at a minimum distance to the right or left of the inters ection with the central line.
  • This embodiment is in fact equivalent to that comparing the characteristic abscissa with the positions of the two intersection points along the trajectory to the right and left of the vehicle.
  • the lateral discrimination unit may, for example, emit a first signal if the left abscis is located to the right of the right intersection point, and emit a different signal if the right extremal abscissa is to the left of the point d left intersection.
  • the lateral discrimination unit may for example emit a first signal if the right intersection point is between the abscis and its right and left extremals, and transmit a different signal if the point d The left intersection is between the right and left extreme abscissae.
  • the lateral discrimination unit may emit a first signal if the left extreme abscissa is to the right of the right intersection point, at a distance less than one of the right intersection point.
  • the lateral discrimination unit is configured to adapt the warning values as a function of the distance of the right intersection point with the abscissa characteristic of the obstacle, or as a function of the distance of the left intersection point with the characteristic abscissa of the obstacle.
  • distance from the point to the abscissa we mean the distance from the point to the vertical line passing through this abscissa.
  • the device comprises a warning interface configured to transmit, according to the values of the estimated warnings, light, tactile or audible signals, which are transmitted on a right side of the driver of the vehicle for at least one value. of the warning value, and which are issued on a driver's left side for at least one other value of the warning value.
  • the warning variable corresponds for example to a single variable that can take at least three distinct values
  • a signal is emitted on the left side of the driver when the variable acquires a first predefined value
  • a signal is transmitted on the right side. of the driver when the variable acquires a second predefined value, and no signal is transmitted as long as the variable is equal to a third predefined value.
  • warning values correspond to two variables each of which may take more values
  • a signal is emitted on the left side of the driver when a first of the two variables acquires a predefined value, and is transmitted on the right side of the driver when the second of the two variables acquires the predefined value.
  • predefined values of the same variable can then cause signals of different intensity on the same side of the driver
  • the device comprises a camera capable of detecting images in the infrared range.
  • the invention proposes a motor vehicle equipped with a driving assistance device as described above.
  • the invention furthermore proposes a method of assisting the driving of a motor vehicle, in which the positions of at least two lines of paths, determined in particular according to the steering angle of the vehicle, are compared in a common reference frame.
  • vehicle and at least one characteristic element of an image obtained by a camera pointing towards the front of the vehicle, and is sent to the driver of the vehicle, at least two different signals depending on whether the element is located to the right or left of the two lines of trajectory.
  • FIG 1 is a schematic representation of a vehicle equipped with a driver assistance device according to the invention
  • FIG. 2 is a simplified representation of the taking into account of the geometrical elements used by a driver assistance device according to the invention.
  • FIG. 3 is an example of a simplified algorithm for operating a driving assistance device according to the invention.
  • a vehicle 2 rolls on a roadway limited by a straight edge of roadway 7 and by a left edge of roadway 8.
  • the vehicle follows a path delimited by a straight edge of trajectory 5 and by an edge left of trajectory 6.
  • a pedestrian 3 is on the road, in the vicinity of the right edge of trajectory 5.
  • the right and left limits of the trajectory may arbitrarily be defined for example as the trajectories of the outer casing of the trajectories of the wheels 9 of the vehicle, or may, depending on the variant embodiments, be defined as the outer casings of the trajectories of one or more points of the vehicle bodywork .
  • the trajectories are defined from trajectories of points of the wheels or trajectories of points of the vehicle body, it is possible to define an enlarged secure trajectory of arbitrary width with respect to the trajectories actually described. by physical points of the vehicle. It is considered in the rest of the text, that the trajectory of the vehicle is defined in the same plane as the roadway. The trajectory is therefore most often in a substantially horizontal plane, or at least in a plane parallel to a plane defined by the axes of the vehicle wheels and passing through the points of contact with the road of the vehicle wheels.
  • the vehicle comprises an electronic control unit 13, a man-machine interface 12, guide wheels 9, a camera 10, a wheel speed sensor 11, a steering wheel 14.
  • the electronic control unit 13 comprises a trajectory estimation unit 24 and a lateral discrimination unit 25.
  • the trajectory estimation unit 24 is connected to or comprises a map 15 and is connected either to an estimator of angle ⁇ of the vehicle wheel is directly to a steering wheel angle sensor which transmits a steering angle ⁇ value and a linear estimator of the vehicle speed, for example to a wheel speed sensor 11 of the vehicle.
  • the lateral discrimination unit 25 is linked to the man-machine interface 12, to the trajectory estimation unit 24 and to an image analysis system receiving the images transmitted by the camera 10.
  • the camera 10 is arranged relative to the vehicle 2 so as to be able to film towards the front of the vehicle.
  • the camera 10 receives the light rays in visible light, in light infrared or in other wavelengths from a cone 4 of light beam, representing the field of view of the camera. At least a portion of the light directions of the cone 4 are diagonally oriented towards the front of the vehicle, so as to record in the image of the camera, a portion of the roadway located towards the front of the vehicle .
  • the camera 10 transmits the stored image values to an electronic control unit 13.
  • the electronic control unit 13 also receives information from the steering wheel 14 of the vehicle, for example in the form of a steering wheel angle data ⁇ . It receives a value of linear speed of forward v of the vehicle from, for example, the wheel speed sensor 11 of the vehicle. From the steering angle of the vehicle, the electronic control unit 13 is able to calculate the angle of the steering wheels of the vehicle relative to the longitudinal axis of the vehicle.
  • the electronic control unit 13 can directly receive the information concerning the angle of the steering wheels of the vehicle instead of the steering angle ⁇ and the forward speed v.
  • the electronic control unit 13 is connected to the map 15 making it possible, from the angle made by the wheels with the longitudinal axis Z of the vehicle, to construct two theoretical limits of trajectories superimposable on the image of the camera 10
  • Z is called the axis corresponding to the usual vehicle advancement direction when the vehicle is traveling in a straight line
  • Y is referred to as the vertical direction when the vehicle is traveling on level ground or else
  • Y is the direction perpendicular to the mean plane defined by the axes of the wheels and is called X the transverse direction of the vehicle, that is to say a horizontal direction perpendicular to the usual direction of advance of the vehicle.
  • FIG. 2 schematically illustrates an image captured by the camera 10 of FIG. 1, in which curves 19 and 20 representing the left and right limits 5 of the FIG. trajectory as they could project if they were visible in the image digitized by the camera 10.
  • the image 16 of the camera 10 is represented in an x axis system, y.
  • the direction of the x-axis, or x-axis corresponds to the direction of lines which could be visible by the camera at the front of the vehicle and which would be oriented in the transverse direction X of the vehicle.
  • the y direction, or ordinate axis corresponds to the other axis of the camera image perpendicular to the x direction, and corresponds to both the projection directions of the vertical lines seen by the camera in front of the vehicle and the lines parallel to the direction of advance Z of the vehicle.
  • the image 16 illustrated in FIG. 2 is an image that has already undergone a series of filtering and analysis by known image analysis methods. These filtering and analyzes make it possible in particular to determine a contour 17 of the image of the pedestrian 3 shown in FIG. 1, and possibly lines (not shown in FIG. 2) corresponding to the physical limits of the roadway, and / or lines corresponding to the markings on the roadway and on its edges.
  • the pedestrian 3 of Figure 1 can be detected for example as a particular contrast element and / or form factor.
  • the contour 17 of the image of the pedestrian 3 has been defined in the image 16.
  • the image analysis system has also defined an outside contour of the pedestrian, here in the form of a rectangle 18, which makes it possible to define a left side xi and a right side x 2 of the contour 17 of the silhouette of the pedestrian 3.
  • the left side corresponds for example to the coordinate on the left side of the rectangle 18 and the right side corresponds to the coordinate on the right side of the rectangle 18.
  • the silhouette 17 of the pedestrian would be associated not with an outline 18 but for example to an ellipsoidal contour
  • the left and right limit coordinates x1 and x2 can then be defined as the abscissa of the ellipse points lying furthest to the x-axis and being the most right along the x-axis.
  • the lowest point of frame 18 allows define a foot line 23 of the pedestrian silhouette 17.
  • the foot line 23 may for example be defined as the line parallel to the x axis and passing through the lowest point, along the y axis, from the frame 18.
  • the ordinate yi of this line of feet 23 of the pedestrian 17 is here reported on the y-axis.
  • two curves 19 and 20 have been reported on the filtered analyzed image 16.
  • the curve 19 represents a left-hand trajectory edge of the vehicle 2 and the curve 20 represents a right-hand trajectory edge of the vehicle 2.
  • the invention requires an analysis of the image detected by the camera to identify the possible pedestrian and also requires knowing the coordinates that would have in this image of the camera the right and left edges of the vehicle trajectory , which are in Figure 2 shown respectively by the curves 20 and 19.
  • the curves 20 and 19 may for example be stored in the form of mapping 15 as a first function "edge R" and a second function "edge L". These functions corresponding to the curves 20 and 19 are mapped for example along the x-axis, as a function of a steering wheel angle ⁇ , and as a function of an ordinate y in the plane of FIG. 16.
  • the mapping can take into account the angle of the steered wheels, according to other embodiments, the map can directly take into account a vehicle speed and a steering wheel angle ⁇ of the vehicle. According to still other embodiments, a unit for calculating the angle of the steered wheels calculates this angle ⁇ of the steered wheels from a history of speeds v of the vehicle and a history of angles ⁇ at the wheel of the vehicle.
  • the lateral discrimination unit 25 analyzes whether the pedestrian silhouette 17 is to the right or left of the path delimited by the lines 20 and 20, and, depending on the position of the silhouette 17, sends to the driver of the vehicle a signal indicating a pedestrian is to the right of the vehicle's path or a pedestrian is to the left of the vehicle's path, possibly allowing the driver to deviate slightly from the path of the vehicle even before he has actually seen the pedestrian.
  • the signal may be for example a light signal, a sound signal, a vibrating signal sent depending on the position of the pedestrian, either on the right side of the driver, or on the left side of the driver, thus making the interpretation of the signal more intuitive, especially if the driver does not know where his right side and his left side are.
  • the discrimination unit 25 determines for example the coordinates of the intersection points-respectively 21 and 22- of the feet line 23 of the pedestrian, with the curves 19 and 20 respectively representing the left edge of the vehicle trajectory and the right trajectory edge of the vehicle.
  • the discrimination unit 25 sends a signal that is transmitted to the right of the driver of the vehicle. If the silhouette 17 or its outline 18 are to the left of the point 21 or straddling this point 21, the discrimination unit 25 sends to the HMI 12 a signal that is emitted to the left of the driver of the vehicle.
  • FIG. 3 illustrates an example of an operating algorithm that can be used by the discrimination unit 25 to determine whether the pedestrian 3 is to the right or to the left of the path of the vehicle 2.
  • the discriminating unit 25 generates WarnR and WarnL variables which are 0 when no lateral detection signal is to be sent to the driver, which is 1 when the pedestrian is at the right at the same time. outside the trajectory, either to the left outside the trajectory of the vehicle, and which are worth 2 when the silhouette of the pedestrian straddles the left edge 19 or overlaps the right edge 20 of the trajectory.
  • a WarnM variable can also be used, which is for example maintained at zero as long as the pedestrian is not in the path of the vehicle, and which is brought to the value 1 for example if the discrimination unit 25 detects that the pedestrian is in the path of the vehicle.
  • an emergency strategy can be set up, for example a braking strategy.
  • the discrimination unit may for example cause the transmission of a first signal on the right of the driver when the WarnR variable is equal to 1, and cause the transmission of a stronger signal always to the right of the driver when the signal WarnR is equal to 2.
  • the discrimination unit 25 can cause the transmission of a signal to the driver's left when the variable WarnL is equal to 1, and cause the transmission of a stronger signal when the variable WarnL is equal to 2.
  • WarnR, WarnL and WarnM variables are set to zero.
  • a step 32 the analysis system of the camera 10 performs a test to decide whether a pedestrian 3 is visible in the field of the camera. If the result is negative, it returns to the initialization step 31. If the result is positive, in a step 33 the image analysis system determines the extreme positions xi, x 2 , along the x axis of the X, the silhouette of the pedestrian 17 and determines the low position yi along the y axis of the silhouette 17 of the pedestrian.
  • a series of tests 34 to 38 or 34 to 37 are then conducted to determine the position of the pedestrian with respect to the path of the vehicle.
  • the test 34 checks whether the silhouette 17 of the pedestrian is to the left of the line 9 representing the left edge of trajectory. If the answer is positive, the variable WarnL is brought to the value 1 at a step 41.
  • step 35 we test at step 35 if the silhouette 17 is straddling the line 19. If it is the case, we bring the value WarnL to 2 at a step 42. If it is not no longer the case, at a step 36 is tested whether the silhouette 17 of the pedestrian, at its line of feet, is between the lines 19 and 20 that is to say if the pedestrian is in the path of the vehicle. If this is the case, the WarnM variable is switched to the value 1 at a step 39.
  • a test 37 is made to check whether the pedestrian, at his line of feet, straddles the line 20 representing the right trajectory edge, and if this is the case, brings the WarnR variable to a step 43.
  • the operating mode described in FIG. 3 is only one of the possible modes of operation according to the invention. For example, it is possible to activate a signal only when the pedestrian is completely to the left or completely to the right of the trajectory, and to activate emergency procedures as soon as the pedestrian engages in the path of the vehicle.
  • the positions of the trajectory lines 19 and 20 may be chosen so as to correspond to an enlarged trajectory of the vehicle 2, that is to say to draw on the image if they are superimposed on the image of the camera a trajectory wider than that traveled by physical points of the vehicle.
  • the driver assistance system allows the driver to react in case of poor visibility even if he has not had time to identify himself the pedestrian at the edge of the road.

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

L'invention propose un système (1) d'aide à la conduite d'un véhicule (2) comprenant une caméra (10) et comprenant un dispositif de reconnaissance optique apte à reconnaître un obstacle (3), dans le champ de vision (4) de la caméra (10). Le dispositif (1) comprend une unité d'estimation de trajectoire (24) configurée pour définir une courbe limite droite (5) et une courbe limite gauche (6) de trajectoire superposable à l'image de la caméra (10), et comprend une unité de discrimination latérale (25) configurée pour délivrer au moins deux valeurs d'avertissement distinctes, la valeur de l'avertissement étant fonction de la position de l'image de l'obstacle (3) par rapport aux limites droite et gauche de trajectoire.

Description

Dispositif de détection de la position latérale d'un piéton par rapport à la trajectoire du véhicule
L'invention a pour objet les systèmes d'aide à la conduite d'un véhicule, et plus particulièrement les systèmes d'aide au repérage d'obstacles ou de personnes se trouvant sur la trajectoire du véhicule. Si le conducteur est aidé dans ses décisions de conduite par les marquages au sol lumineux réfléchissants placés sur la chaussée, en revanche, il n'a pas toujours le temps d'analyser la nature des objets ou des personnes se trouvant de part et d'autre de la chaussée, notamment en situation de mauvaise visibilité comme par temps de brouillard ou de nuit.
Différents systèmes de vision de nuit sont disponibles sur véhicule automobile. De tels systèmes permettent de détecter les piétons la nuit et de les mettre en évidence par l'intermédiaire de différentes interfaces homme-machine (IHM). L'IHM peut par exemple mettre en relief la zone d'image représentant le piéton sur un écran, ou bien un pictogramme symbolisant un piéton peut apparaître sur le tableau de bord. La demande de brevet US 2009 023 11 16 de la société Toyota indique la position du piéton détectée par rapport au véhicule en projetant à l'aide de LEDs, sur le pare-brise du véhicule, qui projettent des faisceaux lumineux censés encadrer l'image du piéton vue par le conducteur.
La précision de cette signalisation est relative car l'image projetée du piéton ne se superpose pas au même endroit du pare-brise en fonction de la taille et de la position du conducteur, et même à supposer que les faisceaux lumineux encadrent la position effective du piéton, le conducteur doit encore analyser la situation, pour estimer si le piéton va se trouver à droite ou à gauche de la trajectoire du véhicule, et dans quelle direction le conducteur devra modifier la trajectoire du véhicule. Le brevet US 2010 025 35 26 divulgue un procédé de signalisation d' un obj et ou d' un piéton détecté en avant du véhicule. Le document propose d' indiquer au conducteur le sens de déplacement de l ' obj et par rapport à une direction transversale au sens du véhicule, mais n ' indique pas le moyen par lequel on détermine le s ens de déplacement.
L ' invention a pour but de proposer un système d' aide à la conduite qui permette non seulement de repérer la position d 'un éventuel piéton par rapport au pare-bris e du véhicule ou par rapport à l ' image numérisée sur un écran, mais qui permette de donner directement au conducteur une information concernant le côté vers lequel il devra dévier sa traj ectoire.
A cette fin, l'invention propose un dispos itif d'aide à la conduite d'un véhicule comprenant une caméra et comprenant un dispositif de reconnaiss ance optique apte à reconnaître un obstacle, notamment un piéton ou un obstacle identifié comme potentiellement accidentogène, dans le champ de vision de la caméra. Le dispositif comprend une unité d'estimation de traj ectoire configurée pour définir une courbe limite droite et une courbe limite gauche de traj ectoire superposable à l'image de la caméra, et comprend une unité de discrimination latérale configurée pour délivrer au moins deux valeurs d'avertis sement distinctes, la valeur de l'avertissement étant fonction de la position de l'image de l'obstacle par rapport aux limites droite et gauche de traj ectoire. Les deux valeurs d'avertis sement distinctes peuvent être deux valeurs différentes attribuées, s elon la position de l'image de l'obstacle, à une même variable en mémoire. Les deux valeurs d'avertissements peuvent, selon une autre variante de réalis ation, correspondre à deux variables mémoire différentes, qui peuvent chacune prendre plusieurs valeurs . Selon une variante particulière de réalisation, les courbes limites droite et gauche peuvent être confondues , et correspondre par exemple à la traj ectoire prévisible d'un point central du pare-choc avant du véhicule. Selon d'autres variantes de réalisation, les limites droite et gauche de traj ectoire peuvent par exemple correspondre aux traj ectoires prédictibles des bords droit et gauche du véhicule, ou peuvent encore correspondre à ces traj ectoires élargies d'une marge de s écurité constante. L'unité d'estimation de traj ectoire peut déterminer globalement chaque courbe limite droite ou gauche en fonction de l'angle instantané des roues du véhicule, ou en fonction de paramètres permettant de remonter à cet angle des roues directrices . Selon un autre mode de réalisation, l'unité d'estimation de traj ectoire peut déterminer chaque courbe limite droite ou gauche en tenant compte des variations récentes de l'angle des roues et en extrapolant les variations de cet angle des roues, par exemple pour déterminer les portions de traj ectoires les plus distantes du véhicule dans le champ de la caméra. P ar obstacle ou piéton on entend ici un élément détecté par le système d'analyse d'image, avec une signature particulière, par exemple une s ignature infrarouge et/ou une signature de facteur de forme et/ou une s ignature de mouvement type, et/ou une proximité ou une intersection avec une zone identifiée comme l'image de la chaus sée. Les formes détectées comme piéton peuvent par exemple comprendre un être humain debout, un cycliste ou une personne en fauteuil roulant, un chien, un chevreuil, un sanglier, un arbre penché vers la route ... , ou, s elon d'autres variantes, comprendre au contraire de manière sélective les êtres humains debout et/ou en mouvement. Selon certaines variantes de réalisation, les obj ets ou piétons pris en compte par le dispositif peuvent se limiter aux obj ets ou piétons proches de la chaussée ou obj ets ou piétons empiétant sur la chaussée.
Par pieds du piéton ou de l'obstacle, on entend par la suite les points de contact avec le sol du piéton ou de l'obstacle, ou à défaut, le bas de la forme détectée, le "bas " s 'entendant suivant l'axe vertical de l'image correspondant aux lignes verticales de la scène filmée.
Le dispos itif peut être relié à un estimateur de l'angle des roues directrices du véhicule, et l'unité d'estimation de traj ectoire peut être configurée pour définir une courbe limite droite et une courbe limite gauche de traj ectoire en fonction de l'angle des roues directrices . L'estimateur de l'angle des roues directrices peut par exemple être relié à un capteur d'angle au volant du véhicule et à un estimateur de la vitess e d'avancement du véhicule, et utiliser l'historique de ces deux valeurs pour calculer l'angle des roues . Selon une variante de réalis ation, la limite droite et la limite gauche de traj ectoire peuvent être déterminées en fonction du s eul angle au volant, par exemple pour un véhicule sans direction assistée. Les traj ectoires ou portions de traj ectoires peuvent être calculées, ou, de préférence, être cartographiées, par exemple en fonction de l'angle des roues, pour permettre une analyse rapide de la situation lorsque le piéton est détecté.
De manière préférentielle, l'axe optique de la caméra se trouve au moment de l'estimation des valeurs d'avertiss ement, dans un plan vertical comprenant la direction d'avancement du véhicule, l'axe optique étant orienté suivant une direction partiellement plongeante. P ar direction partiellement plongeante, on entend ici une direction dirigée vers le sol, sans être perpendiculaire au s ol. De cette manière, on obtient dans l'image de la caméra une portion de la route en avant du véhicule, ainsi que les éléments bordant la route au vois inage du véhicule. Dans l'image obtenue, une des coordonnées de l'image, typiquement une ordonnée verticale de l'image, peut traduire à la fois l'éloignement d'un obj et dans un plan horizontal en avant du véhicule, et la hauteur d'un obj et s ensiblement vertical. L'autre coordonnée représente une dimension s ensiblement horizontale, transversale à la traj ectoire du véhicule.
L'unité de discrimination latérale peut être configurée pour déterminer un point d'intersection droit, qui est calculé comme une intersection de la limite droite de traj ectoire, avec une ligne de pied de l'obstacle. La ligne de pied est déterminée par le système de reconnaissance comme bordant l'image de l'obstacle suivant une direction de l'image correspondant à un axe horizontal transversal à la direction d'avancement du véhicule. L'unité de discrimination latérale peut être en outre configurée pour déterminer un point d'inters ection gauche, comme intersection entre la limite gauche de traj ectoire et la même ligne de pied de l'obstacle. L'unité de discrimination latérale peut par exemple calculer les absciss es des deux points d'intersection, leur ordonnée étant celle de la ligne de pied de l'obstacle, donc connue.
L'unité de discrimination latérale peut être configurée pour comparer les absciss es des points d'inters ection droit et gauche, avec au moins une abscisse caractéristique de l'obstacle détecté. L'abscis se caractéristique de l'obstacle détecté peut correspondre par exemple à l'absciss e d'un barycentre de l'image de l'obstacle. S elon une autre variante de réalisation, l'unité de discrimination latérale prend en compte à la fois une abscisse extrémale droite et une abscisse extrémale gauche de l'obstacle, les abscisses extrémales droite et gauche étant déterminées par le système de reconnaissance comme celles de deux lignes verticales bordant l'image de l'obstacle. P ar lignes verticales on entend des lignes de l'image de la caméra correspondant aux lignes verticales du champ visuel de la caméra.
Selon une variante de réalisation, l'unité de discrimination latérale ne calcule qu'une ligne centrale de traj ectoire au lieu d'une limite droite et gauche de traj ectoire, calcule une inters ection de la ligne de pied avec la ligne centrale de la traj ectoire, et compare ensuite la position de cette inters ection avec des abscisses caractéristiques de l'obstacle détecté, en vérifiant si cette abscis se se trouve à une distance minimale à droite ou à gauche de l'inters ection avec la ligne centrale. Ce mode de réalisation est de fait équivalent à celui comparant l'absciss e caractéristique avec les pos itions des deux points d'inters ection bordant la traj ectoire à droite et à gauche du véhicule.
L'unité de discrimination latérale peut par exemple émettre un premier signal si l'abscis se extrémale gauche se trouve à droite du point d'inters ection droit, et émettre un signal différent s i l'abscisse extrémale droite se trouve à gauche du point d'intersection gauche. S elon une autre variante de réalisation, l'unité de discrimination latérale peut par exemple émettre un premier s ignal s i le point d'intersection droit s e trouve entre les abscis ses extrémales droite et gauche, et émettre un s ignal différent si le point d'intersection gauche s e trouve entre les abscisses extrémales droite et gauche. Selon encore une autre variante de réalis ation, l'unité de discrimination latérale peut émettre un premier s ignal si l'abscisse extrémale gauche s e trouve à droite du point d'intersection droit, à une distance inférieure à un s euil du point d'intersection droit, et émettre un s ignal différent si l'abscisse extrémale droite s e trouve à gauche du point d'intersection gauche, à une distance inférieure au seuil du point d'intersection gauche. Par à droite et à gauche, on entend des positions relatives le long de l'axe de la ligne de pieds de l'obstacle, c'est à dire le long d'un axe de la caméra correspondant à une direction horizontale perpendiculaire à la direction d'avancement du véhicule.
Selon un mode de réalisation avantageux, l'unité de discrimination latérale est configurée pour adapter les valeurs d'avertissement en fonction de la distance du point d'intersection droit avec l'abscisse caractéristique de l'obstacle, ou en fonction de la distance du point d'intersection gauche avec l'abscisse caractéristique de l'obstacle. Par distance du point à l'absciss e, on entend la distance du point à la droite verticale passant par cette absciss e.
De manière préférentielle, le dispositif comprend une interface d'avertissement configurée pour émettre, en fonction des valeurs d'avertis sement estimées, des signaux lumineux, tactiles ou sonores, qui sont émis sur un côté droit du conducteur du véhicule pour au moins une valeur de la valeur d'avertissement, et qui sont émis sur un côté gauche du conducteur pour au moins une autre valeur de la valeur d'avertissement. Ains i si la variable d'avertissement correspond par exemple à une variable unique pouvant prendre au moins trois valeurs distinctes, un signal est émis sur le côté gauche du conducteur quand la variable acquiert une première valeur prédéfinie, un signal est émis sur le côté droit du conducteur quand la variable acquiert une seconde valeur prédéfinie, et aucun signal n'est émis tant que la variable est égale à une troisième valeur prédéfinie. Dans les modes de réalis ation où les valeurs d'avertiss ement correspondent à deux variables pouvant prendre chacune plus ieurs valeurs , un signal est émis sur le côté gauche du conducteur quand une première des deux variables acquiert une valeur prédéfinie, et est émis sur le côté droit du conducteur quand la seconde des deux variables acquiert la valeur prédéfinie. Plusieurs valeurs prédéfinies d'une même variable peuvent alors provoquer des signaux d'intensité différente du même côté du conducteur
Selon un mode de réalisation avantageux, le dispositif comprend une caméra apte à détecter des images dans le domaine infrarouge.
Selon un autre aspect, l'invention propose un véhicule automobile équipé d'un dispositif d'aide à la conduite tel que décrit précédemment.
L'invention propose par ailleurs un procédé d'aide à la conduite d'un véhicule automobile, dans lequel on compare dans un repère commun, les positions d'au moins deux lignes de trajectoires déterminées notamment en fonction de l'angle au volant du véhicule, et au moins un élément caractéristique d'une image obtenue par une caméra pointée vers l'avant du véhicule, et l'on envoie au conducteur du véhicule, au moins deux signaux différents selon que l'élément est situé à droite ou à gauche des deux lignes de trajectoire.
D'autres buts, caractéristiques et avantages de l'invention apparaîtront à la lecture de la description suivante, donnée uniquement à titre d'exemple non limitatif et faite en référence aux dessins annexés sur lesquels :
-la figure 1 est une représentation schématique d'un véhicule équipé d'un dispositif d'aide à la conduite selon l'invention,
-la figure 2 est une représentation simplifiée de la prise en compte des éléments géométriques utilisés par un dispositif d'aide à la conduite selon l'invention, et
-la figure 3 est un exemple d'algorithme simplifié de fonctionnement d'un dispositif d'aide à la conduite selon l'invention.
Tel qu'illustré sur la figure 1, un véhicule 2 roule sur une chaussée limitée par un bord droit de chaussée 7 et par un bord gauche de chaussée 8. Le véhicule suit une trajectoire délimitée par un bord droit de trajectoire 5 et par un bord gauche de trajectoire 6. Sur la figure 1, un piéton 3 se trouve sur la chaussée, au voisinage du bord droit de trajectoire 5. Les limites droite et gauche de la trajectoire peuvent arbitrairement être définies par exemple comme les trajectoires de l'enveloppe extérieure des trajectoires des roues 9 du véhicule, ou peuvent, suivant les variantes de réalisation, être définies comme les enveloppes extérieures des trajectoires d'un ou plusieurs points de la carrosserie du véhicule.
Selon les variantes de réalisation, que les trajectoires soient définies à partir de trajectoires de points des roues ou des trajectoires de points de la carrosserie du véhicule, il est possible de définir une trajectoire sécurisée élargie d'une largeur arbitraire par rapport aux trajectoires effectivement décrites par des points physiques du véhicule. On considère, dans la suite du texte, que la trajectoire du véhicule est définie dans le même plan que la chaussée. La trajectoire se trouve donc le plus souvent dans un plan sensiblement horizontal, ou du moins dans un plan parallèle à un plan défini par les axes des roues du véhicule et passant par les points de contact avec la route des roues du véhicule.
Le véhicule comprend une unité de commande électronique 13, une interface homme-machine 12, des roues directrices 9, une caméra 10, un capteur de vitesses de roues 11, un volant 14.
L'unité de commande électronique 13 comprend une unité d'estimation de trajectoire 24 et une unité de discrimination latérale 25. L'unité d'estimation de trajectoire 24 est reliée à ou comprend une cartographie 15 et est reliée soit à un estimateur d'angle ψ de roue du véhicule soit directement à un capteur d'angle de volant qui lui transmet une valeur φ d'angle au volant et à un estimateur linéaire de vitesse d'avancement du véhicule, par exemple à un capteur 11 de vitesse de roues du véhicule.
L'unité de discrimination latérale 25 est liée à l'interface homme-machine 12, à l'unité d'estimation de trajectoire 24 et à un système d'analyse d'images recevant les images transmises par la caméra 10.
La caméra 10 est disposée par rapport au véhicule 2 de manière à pouvoir filmer en direction de l'avant du véhicule. Typiquement, la caméra 10 reçoit les rayons lumineux en lumière visible, en lumière infrarouge ou dans d'autres longueurs d'ondes provenant d'un cône 4 de faisceau lumineux, représentant le champ de vision de la caméra. Au moins une partie des directions lumineuses du cône 4 sont orientées de manière plongeante vers l'avant du véhicule, de manière à permettre d'enregistrer, dans l'image de la caméra, une portion de la chaussée située vers l'avant du véhicule.
La caméra 10 transmet les valeurs enregistrées d'images à une unité de commande électronique 13. L'unité de commande électronique 13 reçoit également des informations du volant 14 du véhicule, par exemple sous forme d'une donnée d'angle de volant φ. Elle reçoit une valeur de vitesse linéaire d'avancement v du véhicule provenant par exemple du capteur 11 de vitesse de roues du véhicule. A partir de l'angle au volant du véhicule, l'unité de commande électronique 13 est capable de calculer l'angle des roues directrices du véhicule par rapport à l'axe longitudinal d'avancement du véhicule.
Selon certaines variantes de réalisation, l'unité de commande électronique 13 peut recevoir directement les informations concernant l'angle des roues directrices du véhicule au lieu de l'angle au volant φ et de la vitesse d'avancement v.
L'unité de commande électronique 13 est reliée à la cartographie 15 permettant, à partir de l'angle que font les roues avec l'axe longitudinal Z du véhicule, de construire deux limites théoriques de trajectoires superposables à l'image de la caméra 10. Par convention, dans l'image illustrée en figure 1, on appelle Z l'axe correspondant à la direction usuelle d'avancement du véhicule quand le véhicule avance en ligne droite, on appelle Y la direction verticale quand le véhicule circule sur terrain plat ou sinon on appelle Y la direction perpendiculaire au plan moyen défini par les axes des roues et on appelle X la direction transversale du véhicule, c'est-à-dire une direction horizontale perpendiculaire à la direction usuelle d'avancement du véhicule.
La figure 2 illustre schématiquement une image capturée par la caméra 10 de la figure 1, dans laquelle sont intégrées des courbes 19 et 20 représentant respectivement les limites gauche 6 et droite 5 de la trajectoire telles qu'elles pourraient se projeter si elles étaient visibles dans l'image numérisée par la caméra 10. L'image 16 de la caméra 10 est représentée dans un système d'axe x,y. La direction de l'axe x, ou axe des abscisses, correspond à la direction de lignes qui pourraient être visibles par la caméra à l'avant du véhicule et qui seraient orientées suivant la direction transversale X du véhicule.
La direction y, ou axe des ordonnées, correspond à l'autre axe de l'image de la caméra perpendiculaire à la direction x, et correspond à la fois aux directions de projection des lignes verticales vues par la caméra en avant du véhicule et des lignes parallèles à la direction d'avancement Z du véhicule. L'image 16 illustrée en figure 2 est une image qui a déjà subi une série de filtrages et d'analyses par des méthodes d'analyse d'image connues. Ces filtrages et analyses permettent notamment de déterminer un contour 17 de l'image du piéton 3 représenté sur la figure 1, et éventuellement des lignes (non représentées en figure 2) correspondant aux limites physiques de la chaussée, et/ou des lignes correspondant aux marquages sur la chaussée et sur ses bords.
Le piéton 3 de la figure 1 peut être détecté par exemple comme un élément de contraste et/ou de facteur de forme particulier. C'est ainsi que le contour 17 de l'image du piéton 3 a été défini dans l'image 16.
Le système d'analyse d'image a également défini un contour extérieur du piéton, ici sous forme d'un rectangle 18, qui permet de définir un côté gauche xi et un côté droit x2 du contour 17 de la silhouette du piéton 3. Le côté gauche correspond par exemple à la coordonnée du côté gauche du rectangle 18 et le côté droit correspond à la coordonnée du côté droit du rectangle 18. On peut envisager des variantes de réalisation dans lesquelles la silhouette 17 du piéton serait associée non à un contour 18 rectangulaire mais par exemple à un contour ellipsoïdal, les coordonnées limite gauche et droite xl et x2 pouvant alors être par exemple définies comme les abscisses des points de l'ellipse se trouvant le plus à gauche suivant l'axe x et se trouvant le plus à droite selon l'axe x. Le point le plus bas du cadre 18 permet de définir une ligne de pieds 23 de la silhouette de piéton 17. La ligne de pieds 23 peut être par exemple définie comme la ligne parallèle à l'axe x et passant par le point le plus bas, au sens de l'axe y, du cadre 18.
L'ordonnée yi de cette ligne de pieds 23 du piéton 17 est ici reportée sur l'axe y. Pour la compréhension de l'invention, deux courbes 19 et 20 ont été reportées sur l'image analysée filtrée 16. La courbe 19 représente un bord gauche de trajectoire du véhicule 2 et la courbe 20 représente un bord droit de trajectoire du véhicule 2. Pour mettre en œuvre l'invention, il n'est nécessaire ni d'afficher à un moment quelconque sur un écran l'image analysée filtrée, ni d'y superposer les lignes 19 et 20.
L'invention nécessite cependant d'effectuer une analyse de l'image détectée par la caméra pour y repérer le piéton éventuel et nécessite également de connaître les coordonnées qu'auraient dans cette image de la caméra les bords droit et gauche de la trajectoire du véhicule, qui sont sur la figure 2 représentés respectivement par les courbes 20 et 19. Les courbes 20 et 19 peuvent par exemple être stockées sous forme de cartographie 15 comme une première fonction "bord R" et une seconde fonction "bord L". Ces fonctions correspondant aux courbes 20 et 19 sont cartographiées par exemple suivant l'axe x, en fonction d'un angle ψ de roue directrice, et en fonction d'une ordonnée y dans le plan de la figure 16.
Selon les variantes de réalisation, la cartographie peut prendre en compte l'angle des roues directrices, selon d'autres variantes de réalisation, la cartographie peut directement prendre en compte une vitesse du véhicule et un angle au volant φ du véhicule. Selon encore d'autres variantes de réalisation, une unité de calcul de l'angle des roues directrices calcule cet angle ψ des roues directrices à partir d'un historique de vitesses v du véhicule et d'un historique d'angles φ au volant du véhicule. L'unité de discrimination latérale 25 analyse si la silhouette de piéton 17 se trouve à droite ou à gauche de la trajectoire délimitée par les lignes 20 et 20, et, en fonction de la position de la silhouette 17, envoie au conducteur du véhicule un signal indiquant qu'un piéton se trouve à droite de la trajectoire du véhicule ou qu'un piéton se trouve à gauche de la trajectoire du véhicule, ce qui permet éventuellement au conducteur de dévier légèrement de la trajectoire du véhicule avant même d'avoir réellement vu le piéton.
Le signal peut être par exemple un signal lumineux, un signal sonore, un signal vibrant envoyé en fonction de la position du piéton, soit sur le côté droit du conducteur, soit sur le côté gauche du conducteur, rendant ainsi l'interprétation du signal plus intuitive, notamment si le conducteur ne sait plus où se trouvent son côté droit et son côté gauche. Pour déterminer si le piéton 3 se trouve à droite ou à gauche de la trajectoire du véhicule délimitée par les lignes 5 et 6, l'unité de discrimination 25 détermine par exemple les coordonnées des points d'intersections -respectivement 21 et 22- de la ligne de pieds 23 du piéton, avec les courbes 19 et 20 représentant respectivement le bord gauche de trajectoire du véhicule et le bord droit de trajectoire du véhicule.
Si la silhouette 17 ou son contour 18 se trouvent à droite du point 22 ou à cheval sur ce point 22, l'unité de discrimination 25 envoie un signal qui est émis à la droite du conducteur du véhicule. Si la silhouette 17 ou son contour 18 se trouvent à gauche du point 21 ou à cheval sur ce point 21, l'unité de discrimination 25 envoie vers l'IHM 12 un signal qui est émis à la gauche du conducteur du véhicule.
La figure 3 illustre un exemple d'algorithme 30 de fonctionnement qui peut être utilisé par l'unité de discrimination 25 pour déterminer si le piéton 3 se trouve à droite ou à gauche de la trajectoire du véhicule 2. Dans le cas particulier de réalisation correspondant à la figure 3, l'unité de discrimination 25 élabore des variables WarnR et WarnL qui valent 0 quand aucun signal de détection latérale ne doit être émis à l'attention du conducteur, qui valent 1 quand le piéton se trouve soit à droite à l'extérieur de la trajectoire, soit à gauche à l'extérieur de la trajectoire du véhicule, et qui valent 2 quand la silhouette du piéton chevauche le bord gauche 19 ou chevauche le bord droit 20 de la trajectoire. Une variable WarnM peut en outre être utilisée, qui est par exemple maintenue à la valeur zéro tant que le piéton ne se trouve pas sur la trajectoire du véhicule, et qui est amenée par exemple à la valeur 1 si l'unité de discrimination 25 détecte que le piéton se trouve sur la trajectoire du véhicule. En fonction de la valeur de la variable WarnM, une stratégie d'urgence peut être mise en place, par exemple une stratégie de freinage. L'unité de discrimination peut par exemple provoquer l'émission d'un premier signal sur la droite du conducteur quand la variable WarnR vaut 1, et provoquer l'émission d'un signal plus intense toujours sur la droite du conducteur quand le signal WarnR vaut 2. De même, l'unité de discrimination 25 peut provoquer l'émission d'un signal à la gauche du conducteur quand la variable WarnL vaut 1, et- provoquer l'émission d'un signal plus intense quand la variable WarnL vaut 2.
Dans les cas où l'unité de discrimination détecte que la silhouette 17 du piéton se trouve entre les lignes 19 et 20, c'est-à-dire que le piéton se trouve sur la trajectoire du véhicule, d'autres stratégies sont mises en place qui ne sont pas détaillées ici et qui peuvent par exemple comprendre un freinage automatique du véhicule si en plus un autre détecteur frontal du véhicule détecte que le piéton se trouve à proximité immédiate du véhicule.
Tel qu'illustré sur la figure 3, à une étape d'initialisation, les variables WarnR, WarnL et WarnM sont mises à zéro.
A une étape 32, le système d'analyse de la caméra 10 effectue un test pour décider si un piéton 3 est visible dans le champ de la caméra. Si le résultat est négatif, on retourne à l'étape d'initialisation 31. Si le résultat est positif, à une étape 33 le système d'analyse d'image détermine les positions extrêmes xi, x2, suivant l'axe x des abscisses, de la silhouette 17 du piéton et détermine la position basse yi, suivant l'axe y, de la silhouette 17 du piéton.
On effectue ensuite une série de tests 34 à 38 ou 34 à 37 pour déterminer quelle est la position du piéton par rapport à la trajectoire du véhicule. Le test 34 vérifie si la silhouette 17 du piéton se trouve à gauche de la ligne 9 représentant le bord gauche de trajectoire. Si la réponse est positive, la variable WarnL est amenée à la valeur 1 à une étape 41.
Si la réponse est négative, on teste à l'étape 35 si la silhouette 17 est à cheval sur la ligne 19. Si c'est le cas, on amène la valeur WarnL à 2 à une étape 42. Si ce n'est pas non plus le cas, à une étape 36 on teste si la silhouette 17 du piéton, au niveau de sa ligne de pieds, se trouve entre les lignes 19 et 20 c'est-à-dire si le piéton se trouve sur la trajectoire du véhicule. Si c'est le cas, la variable WarnM est basculée à la valeur 1 à une étape 39.
En cas de réponse négative au test 36, on passe à un test 37 vérifiant si le piéton, au niveau de sa ligne de pieds, est à cheval sur la ligne 20 représentant le bord droit de trajectoire, et si c'est le cas on amène la variable WarnR à une étape 43.
Si la réponse est négative, on peut effectuer le test 38, ou conclure directement que le piéton, au niveau de sa ligne de pieds, se trouve à droite du bord droit 20 de trajectoire. Dans ce cas, on active à une étape 40 la variable WarnR à 1.
Le mode de fonctionnement décrit en figure 3 n'est qu'un des modes de fonctionnement envisageables selon l'invention. Il est par exemple possible de n'activer un signal que quand le piéton se trouve complètement à gauche ou complètement à droite de la trajectoire, et d'activer des procédures d'urgence dès que le piéton s'engage sur la trajectoire du véhicule.
Dans ce cas, quand la silhouette 17 est à cheval sur une des lignes 19 et 20, une stratégie d'urgence est déjà mise en place. On peut également envisager des variantes de réalisation où l'on ne compare pas la position par rapport à deux lignes de bord de trajectoire, mais par rapport à quatre lignes. Une première ligne borde directement la trajectoire à droite et une seconde ligne borde la trajectoire un peu plus à droite avec un léger écart. Deux autres lignes définissent une bande à gauche de la trajectoire. Le signal d'avertissement est alors délivré lorsque la portion de la ligne de pieds du piéton se trouve soit à l'intérieur de la bande de gauche, soit à l'intérieur de la bande de droite bordant la trajectoire théorique du véhicule. L'invention ne se limite pas aux exemples de réalisation décrits et peut se décliner en de nombreuses variantes. Les coordonnées des lignes de bord gauche et de bord droit 19 et 20 de la trajectoire peuvent être calculées au lieu d'être cartographiées.
Les positions des lignes de trajectoire 19 et 20 peuvent être choisies de manière à correspondre à une trajectoire élargie du véhicule 2, c'est-à-dire à dessiner sur l'image si elles sont superposées à l'image de la caméra une trajectoire plus large que celle parcourue par des points physiques du véhicule.
On peut par exemple prévoir d'élargir une trajectoire correspondant à des points physiques latéraux du véhicule de quelques dizaines de centimètres, par exemple d'une largeur de l'ordre de 20 cm.
Le système d'aide à la conduite selon l'invention permet au conducteur de réagir en cas de mauvaise visibilité même s'il n'a pas eu le temps d'identifier lui-même le piéton se trouvant au bord de la chaussée.

Claims

REVENDICATIONS
1 . Système ( 1 ) d'aide à la conduite d'un véhicule (2) comprenant une caméra ( 10) et comprenant un dispos itif de reconnaissance optique apte à reconnaître un obstacle (3 ), notamment un piéton ou un obstacle identifié comme potentiellement accidentogène, dans le champ de vision (4) de la caméra ( 10), caractéris é en ce que le dispos itif ( 1 ) comprend une unité d'estimation de traj ectoire (24) configurée pour définir une courbe limite droite (20) et une courbe limite gauche ( 1 9) de traj ectoire superposable à l'image ( 16) de la caméra ( 10), et comprend une unité de discrimination latérale (25) configurée pour délivrer au moins deux valeurs d'avertiss ement distinctes (WarnL, WarnR), la valeur de l'avertiss ement étant fonction de la position de l'image ( 17) de l'obstacle (3 ) par rapport aux limites droite (20) et gauche ( 19) de traj ectoire.
2. Système d'aide à la conduite selon la revendication 1 , relié à un estimateur ( 13 ) de l'angle (ψ) des roues directrices du véhicule, dans lequel l'unité d'estimation de traj ectoire (24) est configurée pour définir une courbe limite droite (20) et une courbe limite gauche ( 1 9) de traj ectoire en fonction de l'angle (ψ) des roues directrices (9) du véhicule.
3. Système d'aide à la conduite selon l'une quelconque des revendications 1 ou 2 , dans lequel l'axe optique de la caméra se trouve au moment de l'estimation des valeurs d'avertissement (WarnL, WarnR), dans un plan vertical (YZ) comprenant la direction d'avancement du véhicule (2), l'axe optique étant orienté suivant une direction partiellement plongeante.
4. Système d'aide à la conduite selon la revendication 3 , dans lequel l'unité de discrimination latérale (25 ) est configurée pour déterminer un point d'intersection droit (22), comme une intersection de la limite droite de traj ectoire (20), avec une ligne de pied (23 ) de l'obstacle, la ligne de pied étant déterminée par le système de reconnaissance comme bordant l'image ( 17) de l'obstacle suivant une direction (x) de l'image correspondant à un axe horizontal (X) transvers al à la direction (Z) d'avancement du véhicule, et l'unité de discrimination latérale (25) étant configurée pour déterminer un point d'intersection gauche (2 1 ), comme intersection entre la limite gauche de traj ectoire ( 19) et la même ligne de pied (23 ) de l'obstacle.
5. Système d'aide à la conduite selon la revendication 4, dans lequel l'unité de discrimination latérale est configurée pour comparer les abscis ses (bordR (ψ, yi), bordL (ψ, yi )) des points d'intersection droit (22) et gauche (2 1 ), avec au moins une abscisse (x l , x2) caractéristique de l'obstacle (3 ) détecté.
6. Système d'aide à la conduite selon la revendication 5 , dans lequel l'unité de discrimination latérale (25 ) est configurée pour adapter les valeurs d'avertiss ement (WarnL, WarnR) en fonction de la distance du point d'intersection droit (22) avec l'abscisse caractéristique de l'obstacle, ou en fonction de la distance du point d'intersection gauche ( 1 9) avec l'absciss e (x*, x2) caractéristique de l'obstacle .
7. Système d'aide à la conduite selon l'une quelconque des revendications 1 à 6, comprenant une interface ( 12) d'avertiss ement configurée pour émettre, en fonction des valeurs d'avertissement estimées (WarnL, WarnR), des signaux lumineux, tactiles ou sonores , qui sont émis sur un côté droit du conducteur du véhicule pour au moins une valeur (WarnR= l ) de la valeur d'avertiss ement, et qui s ont émis sur un côté gauche du conducteur pour au moins une autre valeur (WarnL= l ) de la valeur d'avertis sement.
8. Système d'aide à la conduite selon l'une quelconque des revendications 1 à 7, comprenant une caméra ( 10) apte à détecter des images dans le domaine infrarouge.
9. Véhicule automobile équipé d'un système d'aide à la conduite s elon l'une quelconque des revendications 1 à 7.
10. Procédé d'aide à la conduite d'un véhicule automobile (2), dans lequel on compare dans un repère commun (x, y), les pos itions d'au moins deux lignes de traj ectoires ( 19 , 20) déterminées notamment en fonction de l'angle au volant (φ) du véhicule, et au moins un élément caractéristique (17) d'une image obtenue par une caméra (10) pointée vers l'avant du véhicule (2), et l'on envoie au conducteur du véhicule, au moins deux signaux différents selon que l'élément est situé à droite ou à gauche des deux lignes de trajectoire (19, 20).
EP14825394.1A 2013-11-04 2014-10-30 Dispositif de détection de la position latérale d'un piéton par rapport à la trajectoire du véhicule Withdrawn EP3065989A2 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1360772A FR3012784B1 (fr) 2013-11-04 2013-11-04 Dispositif de detection de la position laterale d'un pieton par rapport a la trajectoire du vehicule
PCT/FR2014/052760 WO2015063422A2 (fr) 2013-11-04 2014-10-30 Dispositif de détection de la position latérale d'un piéton par rapport à la trajectoire du véhicule

Publications (1)

Publication Number Publication Date
EP3065989A2 true EP3065989A2 (fr) 2016-09-14

Family

ID=49817072

Family Applications (1)

Application Number Title Priority Date Filing Date
EP14825394.1A Withdrawn EP3065989A2 (fr) 2013-11-04 2014-10-30 Dispositif de détection de la position latérale d'un piéton par rapport à la trajectoire du véhicule

Country Status (4)

Country Link
EP (1) EP3065989A2 (fr)
CN (1) CN105830131A (fr)
FR (1) FR3012784B1 (fr)
WO (1) WO2015063422A2 (fr)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE539098C2 (en) * 2015-08-20 2017-04-11 Scania Cv Ab Method, control unit and system for path prediction
SE539097C2 (en) 2015-08-20 2017-04-11 Scania Cv Ab Method, control unit and system for avoiding collision with vulnerable road users
US10589741B2 (en) * 2015-08-27 2020-03-17 Ford Global Technologies, Llc Enhanced collision avoidance
FR3055870B1 (fr) * 2016-09-15 2019-09-27 Renault S.A.S. Methode d'aide a la conduite, procede d'implementation d'une telle methode et dispositif d'aide a la conduite
GB201712004D0 (en) 2017-07-26 2017-09-06 Jaguar Land Rover Ltd Proximity sensing systems and their control
CN109727188A (zh) * 2017-10-31 2019-05-07 比亚迪股份有限公司 图像处理方法及其装置、安全驾驶方法及其装置
CN110843910A (zh) * 2018-08-21 2020-02-28 上海博泰悦臻网络技术服务有限公司 车辆拐弯控制装置及方法
CN111127582B (zh) * 2018-10-31 2023-06-23 驭势（上海）汽车科技有限公司 一种轨迹重合段识别方法、装置、系统及存储介质
CN110113580B (zh) * 2019-06-06 2024-04-09 天津艾思科尔科技有限公司 一种站台越界检测系统
US11292458B2 (en) * 2019-07-31 2022-04-05 Toyota Research Institute, Inc. Autonomous vehicle user interface with predicted trajectories
CN114078326B (zh) * 2020-08-19 2023-04-07 北京万集科技股份有限公司 碰撞检测方法、装置、视觉传感器和存储介质
CN114485511A (zh) * 2020-10-27 2022-05-13 湖南中车智行科技有限公司 一种车辆限界宽度的测量方法及装置
CN114446092B (zh) * 2022-01-19 2022-12-27 无锡学院 一种基于三维相机组网的s型公路模拟障碍物预警方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2073185A2 (fr) * 2007-12-20 2009-06-24 Robert Bosch Gmbh Procédé destiné à l'affichage de consignes d'alerte dans un véhicule automobile et dispositif d'affichage correspondant
WO2012076952A2 (fr) * 2010-12-08 2012-06-14 Toyota Jidosha Kabushiki Kaisha Dispositif de transmission d'informations de véhicule

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005055189A1 (fr) * 2003-12-01 2005-06-16 Volvo Technology Corporation Affichages d'ameliorations perceptives bases sur la connaissance de la position de la tete et/ou des yeux et/ou du regard
JP5130638B2 (ja) * 2006-03-22 2013-01-30 日産自動車株式会社 回避操作算出装置、回避制御装置、各装置を備える車両、回避操作算出方法および回避制御方法
JP4856656B2 (ja) * 2008-01-22 2012-01-18 富士重工業株式会社 車両検出装置
JP2009217682A (ja) 2008-03-12 2009-09-24 Yazaki Corp 車両用表示装置
JP4675395B2 (ja) * 2008-05-19 2011-04-20 三菱電機株式会社 車両用警報装置
US8344894B2 (en) 2009-04-02 2013-01-01 GM Global Technology Operations LLC Driver drowsy alert on full-windshield head-up display
JP5197679B2 (ja) * 2010-06-09 2013-05-15 株式会社豊田中央研究所 対象物検出装置及びプログラム
JP2012040950A (ja) * 2010-08-19 2012-03-01 Koito Mfg Co Ltd 車両用照明システム
JP2012212351A (ja) * 2011-03-31 2012-11-01 Mazda Motor Corp 車両用情報提供装置
FR2979299B1 (fr) * 2011-08-31 2014-09-12 Peugeot Citroen Automobiles Sa Dispositif de traitement pour estimer une trajectoire future d'un vehicule, associee a une couleur fonction d'un niveau de risque de collision estime, pour un systeme d'aide a la conduite
EP2618108B1 (fr) * 2012-01-19 2018-10-17 Volvo Car Corporation Système de conduite assistée

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2073185A2 (fr) * 2007-12-20 2009-06-24 Robert Bosch Gmbh Procédé destiné à l'affichage de consignes d'alerte dans un véhicule automobile et dispositif d'affichage correspondant
WO2012076952A2 (fr) * 2010-12-08 2012-06-14 Toyota Jidosha Kabushiki Kaisha Dispositif de transmission d'informations de véhicule

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2015063422A2 *

Also Published As

Publication number Publication date
FR3012784B1 (fr) 2016-12-30
WO2015063422A3 (fr) 2015-10-29
WO2015063422A2 (fr) 2015-05-07
FR3012784A1 (fr) 2015-05-08
CN105830131A (zh) 2016-08-03

Similar Documents

Publication Publication Date Title
EP3065989A2 (fr) Dispositif de détection de la position latérale d'un piéton par rapport à la trajectoire du véhicule
US12077046B2 (en) Interactive safety system for vehicles
US7884705B2 (en) Safety-drive assistance device
CN113998034A (zh) 骑乘者辅助系统和方法
US20150191120A1 (en) Warning device for vehicle and outside mirror device for vehicle
FR2976246B1 (fr) Systeme d'assistance de conduite avec detection d'objets
JP2017194432A (ja) 物体検出装置、物体検出方法
FR3096948A1 (fr) Procédé de calcul de la position latérale d'un véhicule automobile
EP3332352B1 (fr) Dispositif et procede de detection de place de stationnement libre pour un vehicule automobile
JP2010143250A (ja) 後方視認装置
EP2043044B1 (fr) Procédé et dispositif d'assistance au parcage d'un véhicule automobile
EP4373723A1 (fr) Dispositif et procédé de détection d'une sortie de voie d'un véhicule
KR102227371B1 (ko) 차량용 영상투사장치 및 이를 구비한 차량
SE1350386A1 (sv) System och metod för att visa information på en fönsterrutai ett fordon med en spegel monterad utanför fönsterrutan
FR2942064A1 (fr) Procede et systeme pour alerter un conducteur de vehicule
EP3847417B1 (fr) Procédé de détection de faux positifs d'un dispositif de traitement d'image d'une caméra
FR3047105A1 (fr) Procede et dispositif d'assistance de conduite
JP5289920B2 (ja) 車両用警報装置
FR3149578A1 (fr) Procédé et dispositif d’indication de présence d’objet dans un environnement d’un véhicule
JP6429101B2 (ja) 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体
FR2962583A1 (fr) Procede et dispositif d'assistance d'un conducteur de vehicule pour une manoeuvre de conduite
JP2005284799A (ja) 歩行者検出装置
JP7268314B2 (ja) 表示装置
FR3151816A1 (fr) Procédé de détection d’objets dynamiques
FR3060775A1 (fr) Procede pour determiner une zone d'affichage d'un element dans un dispositif d'affichage

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20160502

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20190409

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: RENAULT S.A.S

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: RENAULT S.A.S

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230608

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20230627