EP4323255A1 - Verfahren zum wechsel zwischen einer manuellen und einer autonomen fahrt und fahrzeug - Google Patents

Verfahren zum wechsel zwischen einer manuellen und einer autonomen fahrt und fahrzeug

Info

Publication number
EP4323255A1
EP4323255A1 EP22722250.2A EP22722250A EP4323255A1 EP 4323255 A1 EP4323255 A1 EP 4323255A1 EP 22722250 A EP22722250 A EP 22722250A EP 4323255 A1 EP4323255 A1 EP 4323255A1
Authority
EP
European Patent Office
Prior art keywords
driver
steering wheel
intention
vehicle
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22722250.2A
Other languages
English (en)
French (fr)
Inventor
Felix Heinrich
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP4323255A1 publication Critical patent/EP4323255A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B60W60/0054—Selection of occupant to assume driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02—Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/16—Steering columns
    • B62D1/18—Steering columns yieldable or adjustable, e.g. tiltable
    • B62D1/181—Steering columns yieldable or adjustable, e.g. tiltable with power actuated adjustment, e.g. with position memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02—Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/16—Steering columns
    • B62D1/18—Steering columns yieldable or adjustable, e.g. tiltable
    • B62D1/183—Steering columns yieldable or adjustable, e.g. tiltable adjustable between in-use and out-of-use positions, e.g. to improve access
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/24—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted
    • B62D1/28—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted non-mechanical, e.g. following a line or other known markers
    • B62D1/286—Systems for interrupting non-mechanical steering due to driver intervention

Definitions

  • the invention relates to a method for switching between autonomous driving and manual driving of a vehicle, in which at least one interior camera is used to monitor the driver of the vehicle for an intention to hand over and/or an intention to take over. If an intention to hand over is detected, the steering wheel is moved away from the driver and the journey is switched to autonomous driving. If an intention to take over is detected, the steering wheel is moved in the direction of the driver's hands and driving is switched to manual driving.
  • Autonomous driving allows the driver of a vehicle to use the driving time for other purposes, for example to work, relax or sleep. It is often desirable to move the steering wheel from the use position to another position as far away from the driver as possible. A large number of solutions have already been developed for this purpose. However, it may be necessary or desirable to switch back to manual driving, ie the driver controlling the vehicle, during autonomous driving. On the one hand, this can simply be based on the driver's request, but it can also be initiated by the driver in critical situations. Then, on the one hand, the steering wheel must be within reach of the driver again, and on the other hand, the switch from autonomous driving to manual driving must be completed.
  • a dedicated operating action by the driver is usually required for a change between the mentioned driving modes, so he has to trigger the change of driving modes by actuating an operating element or the like.
  • This is inconvenient, especially when changing to manual driving if the operating element is provided in the area of the vehicle's dashboard and the driver has shifted his seat position backwards during autonomous driving.
  • operating a control element can cost valuable time if the journey is to be handed over to the driver due to a critical driving situation and he first has to operate the control element in order to move the steering wheel in his direction and change the driving mode. It would therefore be advantageous if both the movement of the steering wheel and the change in driving mode could be changed independently of a control element.
  • the object of the invention is therefore to propose a solution as to how the driver of the vehicle can switch between autonomous and manual driving without actuating an operating element, with the steering wheel being moved into a position adapted to the driving mode. This should preferably be made possible for a change from autonomous to manual driving and vice versa.
  • At least one interior camera in the vehicle captures at least the hands of a driver of the vehicle.
  • An intention to take over and/or an intention to hand over by a driver of the vehicle is detected by means of an image analysis based on a hand movement. If an intention to take over is detected, the steering wheel is moved in the direction of the driver's hands and driving is switched to manual driving and/or if an intention to hand over is detected, the steering wheel is moved away from the driver and driving is switched to autonomous driving.
  • the method should therefore enable switching between manual driving and autonomous driving, with the position of the steering wheel being set to match the driving mode.
  • a manual drive is a drive in which the driver of the vehicle controls the vehicle.
  • An autonomous drive is a drive in which the driver does not intervene in the vehicle control.
  • the two driving styles are also referred to below as driving modes.
  • At least one interior camera in the vehicle monitors at least the driver's hands. It is therefore aligned in such a way that the driver's hands are in the camera's field of view. It can be advantageous that not only the hands but also other areas of the driver, such as his arms, his face or his entire upper body, are captured by the at least one interior camera, as will be explained elsewhere.
  • the at least one interior camera can be a camera provided specifically for carrying out the method or a camera which is already provided in the vehicle for other tasks but can also be used for the method according to the invention.
  • the method can also be carried out with more than one camera, which are provided in particular at different positions in the vehicle in order to gain a better overview of the movement of the driver's hands or optionally other (body) areas of the driver.
  • At least the driver's hands can preferably be detected continuously, but also at predefined time intervals.
  • the recordings captured by the at least one interior camera are evaluated by means of a suitable image analysis to determine whether a hand movement by the driver indicates an intention to switch to manual driving and/or an intention to hand over to autonomous driving.
  • Image analysis is used to check or detect whether the driver, for example, moves his hands towards the steering wheel from a rest position in an autonomous drive, if necessary makes a gripping movement and thus signals that he wants to take over the wheel and switch to manual driving. For example, if the driver puts his hands on his lap during manual driving or picks up an object, such as a drinking bottle, this can mean the intention to switch the journey to autonomous mode.
  • the term hand movement includes movement with one or both hands.
  • a hand movement is determined, among other things, from the position of one hand or both hands, the distance of one hand or both hands from the steering wheel or its usual position, the direction of movement of one hand or both hands and/or the movement speed of one hand or both hands. It can be voluntary or involuntary.
  • the methods known per se can be used for the image analysis itself. These include, for example, pattern recognition methods and artificial neural networks.
  • the steering wheel is moved in the direction of the driver's hands, assuming that the steering wheel will be in one of the Driver remote position was arranged, ie towards the driver and thus further towards the interior of the vehicle.
  • Moving the steering wheel can be done, for example, by means of electric motors that allow electric steering column adjustment.
  • the driving mode is switched, i.e. the vehicle switches from autonomous driving mode to manual driving mode, in which the driver has control of the vehicle.
  • the switching of the driving mode preferably takes place when the driver can grip the steering wheel or at least can almost grip it while it is being moved towards him. This ensures that the vehicle does not continue to drive uncontrolled even though the driver is not yet able to grip the steering wheel. At the same time, valuable time is saved because the driver can take over the journey as soon as he makes contact with the steering wheel.
  • the steering wheel is moved away from the driver or his hands, so that he has more space for his activities during autonomous driving and thus more enjoy comfort.
  • the driving mode is switched to autonomous driving as soon as the steering wheel is moved away from the driver, so that the vehicle never continues to drive uncontrolled.
  • the position into which the steering wheel is moved when there is an intention to hand over can also be referred to as the rest position, while the position when the steering wheel is actively operated can be referred to as the driving position.
  • the rest position of the steering wheel can preferably be achieved in that the steering wheel is lowered or stowed away in the dashboard of the vehicle.
  • the method can be designed to act only in the event of an intention to hand over or only in the event of an intention to take over, or for both. In the latter case, the reaction of the vehicle results in accordance with the detected intention.
  • a first preferred embodiment of the method according to the invention provides that the driver is signaled whether an intention to hand over and/or an intention to take over has been detected.
  • the driver should therefore be informed whether a hand movement has taken place that triggers a change in driving mode.
  • Such a display can be advantageous in order to give the driver a feeling of security when it is displayed to him that the intention to change has been successfully recognized, especially in critical situations where he has to make a change want to switch to manual driving. This also makes sense in the reverse case, because the driver can be sure that the car will not continue uncontrolled if he lets go of the steering wheel.
  • This configuration is of particular use when a hand movement by the driver cannot be clearly detected or evaluated, so that no reliable detection of the driver's intention can take place, which means that the position of the steering wheel and the driving mode could not or would not be changed.
  • a signal can be provided that communicates to the driver that his intention to change could not be assigned with certainty, so that, for example, the hand movement can be repeated or the intended change can be manually confirmed by means of a control element.
  • This also intercepts movements that the driver makes involuntarily, for example, without intending to change driving modes.
  • the signaling as to whether an intention to hand over and/or an intention to take over has been detected can take place acoustically and/or visually.
  • An audible signal can be a tone or a sequence of tones, such as those used when using computers to indicate a successful or unsuccessful action, or can include a warning tone or a warning tone sequence if the switch has not been successfully recognized and can be carried out.
  • a visual signal can be a warning lamp lighting up, a backlit symbol in the display area of the dashboard, a verbal and/or pictorial confirmation on a display device of the vehicle such as a display or the like.
  • the at least one interior camera can be a specially provided interior camera or an already existing interior camera of the vehicle. At least one interior camera is preferably used, which is arranged above the windscreen, in or on a mirror, in or on an interior light or in the roof of the vehicle.
  • the area above the windscreen is not restricted in a direction transverse to the direction of travel.
  • the at least one camera can be positioned anywhere along the entire width of the windshield, provided it can capture at least the driver's hands.
  • the at least one interior camera can be arranged on or in the rear-view mirror, where there is a good overview of the movements of the driver's hands and, if necessary, other change indicators, and at the same time the media connections in the area of the rear-view mirror can also be used.
  • the at least one interior camera can also be arranged in or on a reading light, ambient lighting or the like and aligned in the direction of the driver's hands.
  • An arrangement of the at least one interior camera on or in the roof of the vehicle, ie on or in the roof of the vehicle, is also suitable for capturing the driver's hand movement.
  • the method is carried out with more than one camera, arranging them in different positions proves to be advantageous, especially if their image fields and/or orientations are selected in such a way that the driver's hand movement can be recorded from different perspectives. This increases the accuracy in detecting the driver's intention to change.
  • Any camera can be used for the at least one interior camera, in particular a stereo camera, a thermal imaging camera or a time-of-flight camera can be used for this. Since a stereo camera enables the creation of a three-dimensional image using two half-images, the driver's hand movements can be evaluated more clearly and therefore more reliably.
  • Time-of-flight cameras are cameras that use run-time methods to achieve a three-dimensional rendition of a recorded area and thus also allow a clearer evaluation of the driver's hand movements.
  • a thermal imaging camera proves to be advantageous because it records thermal radiation and thus the detection of at least the driver's hands is not impaired by reflections and dazzling events.
  • a further embodiment of the method according to the invention is when the at least one interior camera detects further indicators of an intention to take over and/or an intention to hand over, in particular a gesture by the driver, a direction in which the driver is looking and/or a movement of the driver's upper body .
  • further body areas of the driver are recorded by means of the at least one camera and evaluated by means of image analysis.
  • this detection can also be carried out by means of additional interior cameras.
  • Additional indicators for an intention to take over and/or an intention to hand over can be, for example, gestures as a special embodiment of a hand movement. This should be understood to mean deliberately executed, repeatable hand movements, one at a time are associated with an intention to hand over or an intention to take over. Such gestures can be limited to the use of one hand or require the use of both hands.
  • the gestures can be specified on the vehicle side as predefined gestures and/or can be defined in advance as user-defined gestures by the driver. If such a gesture is detected by the at least one interior camera and recognized by the image analysis, the intention to take over or the intention to hand over is clearly transmitted to the vehicle, so that the steering wheel can be moved to the appropriate position immediately and the driving mode can be changed.
  • Another indicator may be a driver's line of sight. This can be determined based on the position and orientation of his head or can be derived directly from the recording of the at least one interior camera by image analysis. If, for example, an intention to take over is detected from a hand movement, but the driver is not looking in the direction of travel, but instead is looking at a passenger, for example, a handover to manual driving may be dangerous because the driver cannot see the traffic. It would therefore make sense not to change the driving mode or adjust the steering wheel in such a situation, despite the recognized intention to hand over, and/or to issue a warning to point out the conflict between the detected hand movement and the detected line of sight.
  • the detection and analysis of the driver's viewing direction can also allow conclusions to be drawn as to whether the hand movement was possibly only carried out involuntarily and therefore there was no actual intention to hand over or take over.
  • the viewing direction as a further indicator is also to be understood as a verification of the driver's hand movement.
  • a movement of the driver's upper body can serve as a further indicator of an intention to take over or an intention to hand over.
  • a straightening of the upper body in temporal connection with a hand movement indicating an intention to take over can serve as confirmation of the will to take over.
  • leaning back into a lying position after a hand movement which suggests an intention to hand over, could confirm this.
  • the analysis of a driver’s upper body movement allows an assessment of whether an involuntary hand movement was detected or whether there is an actual will to change driving modes, for example because manual driving was taken over while the driver was lying down , either cannot be done safely or was not displayed intentionally.
  • “Fast” can mean, on the one hand, that the movement of the steering wheel is carried out at the highest possible speed that is possible, for example, when adjusting the steering column, or at least at a high speed, but on the other hand, above all, a relative indication compared to the significantly slower movement just before the contact of the driver's hands with the steering wheel.
  • the rapid movement can preferably take place over half the distance to be covered when the steering wheel is moved, more preferably over 60% and even more preferably over 70%.
  • the steering wheel In order to facilitate taking over the journey or gripping the steering wheel that is being moved towards the driver, it makes sense if the steering wheel is moved to a driver-specific predetermined position when an intention to take over is detected. So it should not simply be moved out of its resting position and towards the interior of the vehicle, but into a position in which the driver can easily reach the steering wheel and which he is particularly used to. In the simplest case, this corresponds to the position of the steering wheel from a previous manual drive. However, if there has been a change of driver in the meantime, the usual or desired steering wheel position may differ.
  • the driver and his/her preferred steering wheel position should therefore be correlated with one another, so that the driving position of the steering wheel can be set individually based on the driver's identity when an intention to take over is detected.
  • the driver's identity can be determined, for example, using the vehicle key used or by means of image recognition.
  • the position and/or the direction of movement of the driver's hands when indicating the intention to take over is known through the detection with the at least one interior camera and the subsequent image analysis. It is therefore possible—for example by means of a suitable computing unit—to calculate or at least estimate where the driver's hands are moving and at what point in time they are in which position.
  • the expected or probable position and/or direction of movement of the driver's hands can be compared with the possible directions of movement and/or the possible speed of movement of the steering wheel, so that it is possible to determine a probable contact position at which the driver's hands touch the steering wheel.
  • the movement of the steering wheel is stopped when the driver touches it.
  • it can usually be detected whether the steering wheel is being touched by the driver.
  • Various techniques and methods are known for this. Irrespective of the selected detection of a steering wheel touch, the movement of the steering wheel in the direction of the driver's hands should be stopped when such a touch is detected. This applies both to the movement of the steering wheel to the rest position and to the driving position, since in both cases there are situations in which stopping the steering wheel movement is appropriate.
  • the movement of the steering wheel can be stopped by touching it and the driver can grab the steering wheel to master the situation.
  • the driver moves his hands faster than expected and/or he prefers a different driving position at the moment. In either case, further movement of the steering wheel toward him would be undesirable or counterproductive. Therefore she can also be ended by touching the steering wheel. A later adjustment of the driving position is not excluded.
  • a vehicle which can be driven autonomously and which is designed and set up to carry out the method according to the invention.
  • a vehicle should have at least one interior camera that captures at least the hands of the driver, a device for processing and analyzing the recordings captured by the at least one interior camera, and a control device that uses the results of the image analysis to adjust the steering wheel and change the Driving mode triggers.
  • FIG. 1 shows a driver during an autonomous journey in a vehicle
  • FIG. 2 shows the hands of the driver when indicating an intention to take over
  • FIG. 3 possible positions of interior cameras for capturing the driver.
  • Figure 1 shows a driver 30 in a vehicle 50 reclining with his arms crossed.
  • the steering wheel 20 is in a position away from it, identified as the rest position 22 .
  • the steering wheel 20 is moved to this position if it is not to be used during autonomous driving.
  • Above the steering wheel 20 and the A stereo camera 10 is arranged on the windshield of the vehicle (position 12), which is set up to capture at least the hands 32 of the driver 30.
  • the steering wheel 20 is moved at an increased speed for the first 70% of the distance that the steering wheel 20 has to cover in order to reduce the distance between the steering wheel 20 and the hands 32 of the driver 30 as quickly as possible. On the remaining 30% of the distance to be covered, the steering wheel 20 is moved more slowly into the final driving position 24, so that the driver 30 can grip the steering wheel 20 pleasantly and comfortably. In addition, the drive is switched to manual drive as soon as the hands 32 can almost grasp the steering wheel 20 .
  • the movement of the steering wheel 20 is stopped so that the movement of the steering wheel 20 does not work against the movement of the driver 30 .
  • the driving position 24 of the steering wheel 20 can be a driver-specific predetermined position, which is approached by the steering wheel 20 in the knowledge of the currently acting driver 30 when signaling an intention to take over, or it can be determined individually. For this purpose, based on the position of the hands 32 of the driver 30, their direction of movement and movement speed, it is estimated when and where they will be and when and where they could take hold of the steering wheel 20. This probable contact position is then approached by steering wheel 20 as driving position 24 .
  • the success or failure of the detection is shown on a display in the area of the dashboard of the vehicle 50 by means of symbols.
  • an acoustic signal can also indicate success or failure.
  • interior camera(s) can be arranged on or in the rear-view mirror 14 and/or on or in interior lights 16 of the vehicle 50 and aligned with the driver 30 .
  • his upper body 36 and the position and orientation of his head 34 are also recorded by the interior camera 10 or an optionally available additional camera (not shown). .
  • the image analysis can be used to identify whether the driver 30 is looking ahead in the direction of travel when a detected hand movement indicates an intention to take over. If this is the case, nothing stands in the way of changing the driving mode to manual driving and moving the steering wheel 20 into the driving position 22 . On the other hand, if the driver 30 is not looking ahead or if his eyes are closed, the change is not completed and a warning tone sounds.
  • the position of the upper body 36 of the driver 30 is evaluated in the same way. If he is leaning backwards or even lying down, it is unlikely that he will want to take over the journey.

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Wechsel zwischen einer autonomen Fahrt und einer manuellen Fahrt eines Fahrzeugs (50), bei dem mittels mindestens einer Innenraumkamera (10) der Fahrer (30) des Fahrzeugs (50) auf eine Übergabeabsicht und/oder eine Übernahmeabsicht hin beobachtet wird. Wird eine Übergabeabsicht detektiert, wird das Lenkrad (20) vom Fahrer (30) weg bewegt und die Fahrt auf autonome Fahrt umgestellt. Wird eine Übernahmeabsicht detektiert, wird das Lenkrad (20) in Richtung der Hände (32) des Fahrers (30) bewegt und die Fahrt auf manuelle Fahrt umgestellt.

Description

Beschreibung
Verfahren zum Wechsel zwischen einer manuellen und einer autonomen Fahrt und Fahrzeug
Die Erfindung betrifft ein Verfahren zum Wechsel zwischen einer autonomen Fahrt und einer manuellen Fahrt eines Fahrzeugs, bei dem mittels mindestens einer Innenraumkamera der Fahrer des Fahrzeugs auf eine Übergabeabsicht und/oder eine Übernahmeabsicht hin beobachtet wird. Wird eine Übergabeabsicht detektiert, wird das Lenkrad vom Fahrer weg bewegt und die Fahrt auf autonome Fahrt umgestellt. Wird eine Übernahmeabsicht detektiert, wird das Lenkrad in Richtung der Hände des Fahrers bewegt und die Fahrt auf manuelle Fahrt umgestellt.
Das autonome Fahren erlaubt es dem Fahrer eines Fahrzeugs, die Fahrzeit anderweitig zu nutzen, beispielsweise zum Arbeiten, zum Entspannen oder zum Schlafen. Dabei ist es oft wünschenswert, das Lenkrad aus der Benutzungsposition in eine andere Position, möglichst weit weg vom Fahrer, zu bewegen. Dazu sind bereits eine Vielzahl von Lösungen entwickelt worden. Es kann jedoch erforderlich oder gewünscht sein, während einer autonomen Fahrt wieder zu einer manuellen Fahrt, also der Steuerung des Fahrzeugs durch den Fahrer, zu wechseln. Dies kann zum einen schlicht auf dem Wunsch des Fahrers basieren, aber auch bei kritischen Situationen durch den Fahrer initiiert werden. Dann muss zum einen das Lenkrad wieder in greifbare Nähe des Fahrers gelangen, zum anderen muss der Wechsel vom autonomen Fahren zur manuellen Fahrt vollzogen werden.
Für einen Wechsel zwischen den genannten Fahrmodi ist üblicherweise eine dezidierte Bedienhandlung durch den Fahrer erforderlich, er muss also durch Betätigen eines Bedienelementes oder dergleichen den Wechsel der Fahrmodi auslösen. Dies ist unkomfortabel, vor allem für einen Wechsel in die manuelle Fahrt, wenn das Bedienelement im Bereich des Armaturenbrettes des Fahrzeugs vorgesehen ist und der Fahrer während der autonomen Fahrt seine Sitzposition nach hinten verschoben hat. Zum anderen kann das Betätigen eines Bedienelementes wertvolle Zeit kosten, wenn die Fahrt wegen einer kritischen Fahrsituation an den Fahrer übergeben werden soll und er erst das Bedienelement betätigen muss, um das Lenkrad in seine Richtung zu bewegen und den Fahrmodus zu wechseln. Es wäre also vorteilhaft, wenn sowohl die Bewegung des Lenkrads als auch der Wechsel des Fahrmodus unabhängig von einem Bedienelement gewechselt werden kann.
Die Aufgabe der Erfindung ist daher, eine Lösung vorzuschlagen, wie ohne Betätigung eines Bedienelementes durch den Fahrer des Fahrzeugs zwischen dem autonomen und dem manuellen Fahren gewechselt werden kann, wobei das Lenkrad in eine dem Fahrmodus angepasste Position bewegt wird. Dies sollte vorzugsweise sowohl für einen Wechsel von autonomem zu manuellem Fahren, als auch umgekehrt, ermöglicht werden.
Die Aufgabe der Erfindung wird gelöst mit einem Verfahren nach Anspruch 1 und ein Fahrzeug nach Anspruch 10. Weitere bevorzugte Ausgestaltungen der Erfindung ergeben sich aus den übrigen, in den Unteransprüchen genannten Merkmalen.
Bei dem erfindungsgemäßen Verfahren zum Wechsel zwischen einer manuellen Fahrt und einer autonomen Fahrt in einem Fahrzeug erfasst mindestens eine Innenraumkamera im Fahrzeug zumindest die Hände eines Fahrers des Fahrzeugs. Mittels einer Bildanalyse wird anhand einer Handbewegung eine Übernahmeabsicht und/oder eine Übergabeabsicht eines Fahrers des Fahrzeugs detektiert. Bei Detektion einer Übernahmeabsicht wird das Lenkrad in Richtung der Hände des Fahrers bewegt und die Fahrt auf manuelle Fahrt umgestellt und/oder es wird bei Detektion einer Übergabeabsicht das Lenkrad vom Fahrer weg bewegt und die Fahrt auf autonome Fahrt umgestellt.
Das Verfahren soll also den Wechsel zwischen einer manuellen Fahrt und einer autonomen Fahrt ermöglichen, wobei die Position des Lenkrads passend zum Fahrmodus eingestellt wird. Wie bereits ausgeführt, ist eine manuelle Fahrt eine Fahrt, bei der der Fahrer des Fahrzeugs dieses steuert. Eine autonome Fahrt ist eine Fahrt, bei der der Fahrer nicht in die Fahrzeugsteuerung eingreift. Die beiden Fahrweisen werden nachfolgend auch als Fahrmodi bezeichnet.
Um zwischen den Fahrmodi zu wechseln, ohne dass ein Bedienelement betätigt werden muss, beobachtet mindestens eine Innenraumkamera im Fahrzeug zumindest die Hände des Fahrers. Sie ist also so ausgerichtet, dass die Hände des Fahrers im Bildfeld der Kamera befindlich sind. Von Vorteil kann es sein, dass nicht nur die Hände, sondern auch andere Bereiche des Fahrers, wie beispielsweise seine Arme, sein Gesicht oder sein ganzer Oberkörper, durch die mindestens eine Innenraumkamera erfasst werden, wie an anderer Stelle noch ausgeführt werden wird. Die mindestens eine Innenraumkamera kann eine eigens zur Durchführung des Verfahrens vorgesehene Kamera sein oder eine Kamera, die bereits im Fahrzeug für andere Aufgaben vorgesehen ist, jedoch für das erfindungsgemäße Verfahren mitgenutzt werden kann. Das Verfahren kann auch mit mehr als einer Kamera ausgeführt werden, die insbesondere an verschiedenen Positionen im Fahrzeug vorgesehen sind, um einen besseren Überblick über die Bewegung der Hände des Fahrers beziehungsweise optional anderer (Körper-) Bereiche des Fahrers zu gewinnen.
Die Erfassung zumindest der Hände des Fahrers kann vorzugsweise kontinuierlich aber auch in vordefinierten Zeitintervallen erfolgen. Die von der mindestens einen Innenraumkamera erfassten Aufnahmen werden mittels einer geeigneten Bildanalyse dahingehend ausgewertet, ob eine Handbewegung des Fahrers eine Übernahmeabsicht zum Wechsel auf eine manuelle Fahrt und/oder eine Übergabeabsicht zu einer autonomen Fahrt erkennen lässt. Es wird also mittels Bildanalyse geprüft beziehungsweise detektiert, ob der Fahrer beispielsweise aus einer Ruheposition in einer autonomen Fahrt die Hände in Richtung Lenkrad bewegt, gegebenenfalls eine Greifbewegung ausführt und damit signalisiert, dass er das Steuer übernehmen und zu einer manuellen Fahrt wechseln möchte. Legt der Fahrer während einer manuellen Fahrt beispielsweise seine Hände in den Schoß oder nimmt einen Gegenstand in die Hand, wie zum Beispiel eine Trinkflasche, kann dies die Absicht zur Übergabe der Fahrt in den autonomen Modus bedeuten. Dabei schließt der Begriff Handbewegung die Bewegung mit einer oder mit beiden Händen ein. Eine Handbewegung bestimmt sich dabei unter anderem aus der Position einer Hand oder beider Hände, dem Abstand von einer Hand oder beiden Händen vom Lenkrad beziehungsweise seiner üblichen Position, der Bewegungsrichtung einer Hand oder beider Hände und/oder der Bewegungsgeschwindigkeit einer Hand oder beider Hände. Sie kann willkürlich oder unwillkürlich sein.
Für die Bildanalyse selbst kann auf die an sich bekannten Verfahren zurückgegriffen werden. Dazu gehören beispielsweise Verfahren der Mustererkennung sowie künstliche neuronale Netze.
Lässt die Handbewegung des Fahrers drauf schließen, dass zu einer manuellen Fahrt gewechselt werden soll, also auf eine Übernahmeabsicht, wird erfindungsgemäß das Lenkrad in die Richtung der Hände des Fahrers bewegt, in der Annahme, dass das Lenkrad während der autonomen Fahrt in einer von dem Fahrer entfernten Position angeordnet war, also auf den Fahrer zu und damit weiter in Richtung Fahrzeuginneres. Das Bewegen des Lenkrads kann beispielsweise mittels Elektromotoren erfolgen, die eine elektrische Lenksäulenverstellung ermöglichen.
Außerdem wird der Fahrmodus gewechselt, das heißt, das Fahrzeug wechselt vom autonomen Fahrmodus in den manuellen Fahrmodus, in dem der Fahrer die Kontrolle über das Fahrzeug hat. Die Umstellung des Fahrmodus findet vorzugsweise dann statt, wenn der Fahrer das Lenkrad greifen kann oder zumindest beinahe schon greifen kann, während es auf ihn zubewegt wird. Damit wird sichergestellt, dass das Fahrzeug nicht unkontrolliert weiterfährt, obwohl der Fahrer das Lenkrad noch gar nicht greifen kann. Gleichzeitig wird wertvolle Zeit gespart, weil die Übernahme der Fahrt durch den Fahrer sofort bei Kontakt mit dem Lenkrad möglich ist.
Wird durch die Bildanalyse eine Übergabeabsicht des Fahrers detektiert, also der Wille des Fahrers, zu einer autonomen Fahrt zu wechseln, wird das Lenkrad vom Fahrer beziehungsweise seinen Händen weg bewegt, so dass er mehr Platz für seine Tätigkeiten während der autonomen Fahrt hat und damit mehr Komfort genießt. Zudem wird der Fahrmodus auf autonomes Fahren umgestellt, sobald das Lenkrad vom Fahrer weg bewegt wird, so dass das Fahrzeug zu keinem Zeitpunkt unkontrolliert weiterfährt.
Die Position, in die das Lenkrad bei einer Übergabeabsicht bewegt wird, kann auch als Ruheposition bezeichnet werden, während die Position bei aktiver Bedienung des Lenkrads als Fahrposition bezeichnet werden kann. Die Ruheposition des Lenkrads kann bevorzugt dadurch erreicht werden, dass das Lenkrad im Armaturenbrett des Fahrzeugs versenkt beziehungsweise verstaut wird.
Das Verfahren kann ausgelegt sein, nur bei einer Übergabeabsicht oder nur bei einer Übernahmeabsicht oder für beides zu wirken. In letzterem Fall ergibt sich die Reaktion des Fahrzeugs jeweils entsprechend der detektierten Absicht.
Eine erste bevorzugte Ausgestaltung des erfindungsgemäßen Verfahrens sieht vor, dass dem Fahrer signalisiert wird, ob eine Detektion einer Übergabeabsicht und/oder einer Übernahmeabsicht erfolgt ist. Dem Fahrer soll also übermittelt werden, ob eine Handbewegung erfolgt ist, die einen Wechsel des Fahrmodus auslöst. Eine solche Anzeige kann von Vorteil sein, um dem Fahrer ein Gefühl von Sicherheit zu übermitteln, wenn ihm angezeigt wird, dass die Wechselabsicht erfolgreich erkannt wurde, gerade in kritischen Situationen, wo er zu einer manuellen Fahrt wechseln möchte. Auch im umgekehrten Fall ist dies sinnvoll, weil der Fahrer sicher sein kann, dass das Auto nicht unkontrolliert weiterfährt, wenn er das Lenkrad loslässt.
Von ganz besonderem Nutzen ist diese Ausgestaltung, wenn eine Handbewegung des Fahrers nicht eindeutig erfasst oder ausgewertet werden kann, so dass keine sichere Detektion einer Absicht des Fahrers erfolgen kann, wodurch auch die Position des Lenkrads und der Fahrmodus nicht umgestellt werden könnte beziehungsweise würde. In diesem Fall kann ein Signal vorgesehen sein, dass dem Fahrer übermittelt, dass seine Wechselabsicht nicht sicher zugeordnet werden konnte, so dass beispielsweise eine Wiederholung der Handbewegung erfolgen kann oder eine manuelle Bestätigung des beabsichtigten Wechsels mittels eines Bedienelementes. Dies fängt auch Bewegungen ab, die der Fahrer zum Beispiel unwillkürlich macht, also ohne eine Wechselabsicht hinsichtlich der Fahrmodi.
Das Signalisieren, ob eine Übergabeabsicht und/oder einer Übernahmeabsicht detektiert wurde, kann akustisch und/oder visuell erfolgen. Ein akustisches Signal kann ein Ton oder eine Tonfolge sein, wie sie beispielsweise bei der Verwendung von Computern zur Anzeige einer erfolgreichen oder einer erfolglosen Aktion verwendet werden, oder einen Warnton beziehungsweise eine Warntonfolge umfassen, wenn der Wechsel nicht erfolgreich erkannt wurde und ausgeführt werden kann. Ein visuelles Signal kann ein Aufleuchten einer Kontrollleuchte, eines hinterleuchteten Symbols im Anzeigebereich des Armaturenbrettes, eine verbale und/oder bildhafte Bestätigung auf einer Anzeigeeinrichtung des Fahrzeugs wie beispielsweise einem Display oder dergleichen sein.
Wie bereits ausgeführt, kann die mindestens eine Innenraumkamera eine eigens vorgesehene oder eine bereits vorhandene Innenraumkamera des Fahrzeugs sein. Vorzugsweise wird dabei mindestens eine Innenraumkamera verwendet, die oberhalb der Frontscheibe, in oder an einem Spiegel, in oder an einer Innenraumbeleuchtung oder im Dach des Fahrzeugs angeordnet ist.
Der Bereich oberhalb der Frontscheibe ist dabei in einer Richtung quer zur Fahrtrichtung nicht eingeschränkt. Das heißt, die mindestens eine Kamera kann entlang der gesamten Breite der Frontscheibe beliebig positioniert werden, sofern sie mindestens die Hände des Fahrers erfassen kann. Die mindestens eine Innenraumkamera kann am oder im Rückspiegel angeordnet sein, wo ein guter Überblick über die Bewegungen der Hände des Fahrers und gegebenenfalls andere Wechselindikatoren vorhanden ist und gleichzeitig die Medienanschlüsse im Bereich des Rückspiegels mitgenutzt werden können. Die mindestens eine Innenraumkamera kann aber auch in oder an einem Leselicht, einer Ambientebeleuchtung oder dergleichen angeordnet und in Richtung der Hände des Fahrers ausgerichtet sein. Eine Anordnung der mindestens einen Innenraumkamera am oder im Himmel des Fahrzeugs, mithin also am beziehungsweise im Dach des Fahrzeugs, ist ebenso geeignet, um die Handbewegung des Fahrers zu erfassen.
Wird das Verfahren mit mehr als einer Kamera ausgeführt, erweist sich deren Anordnung an verschiedenen Positionen als vorteilhaft, vor allem wenn deren Bildfelder und/oder Orientierungen derart gewählt sind, dass die Handbewegung des Fahrers aus verschiedenen Perspektiven erfasst werden können. Dies erhöht die Genauigkeit bei der Detektion der Wechselabsicht des Fahrers.
Für die mindestens eine Innenraumkamera kann jede beliebige Kamera verwendet werden, insbesondere können dafür eine Stereokamera, eine Wärmebildkamera oder eine Time-of- Flight-Kamera verwendet werden. Da eine Stereokamera mittels zweier Halbbilder die Erstellung eines dreidimensionalen Bildes ermöglicht, lassen sich Handbewegungen des Fahrers eindeutiger und damit sicherer auswerten. Time-of-Flight-Kameras (TOF-Kameras) sind Kameras, die mittels Laufzeitverfahren zu einer dreidimensionalen Wedergabe eines aufgenommenen Bereiches gelangen und somit ebenfalls eine eindeutigere Auswertung von Handbewegungen des Fahrers erlauben. Eine Wärmebildkamera erweist sich als vorteilhaft, weil sie Wärmestrahlung aufnimmt und damit die Erfassung zumindest der Hände des Fahrers nicht durch Reflexionen und Blendereignisse beeinträchtigt wird.
Eine weitere erfindungsgemäße Ausgestaltung des Verfahrens liegt vor, wenn mittels der mindestens einen Innenraumkamera weitere Indikatoren für eine Übernahmeabsicht und/oder eine Übergabeabsicht erfasst werden, insbesondere können dies eine Geste des Fahrers, eine Blickrichtung des Fahrers und/oder eine Bewegung des Oberkörpers des Fahrers sein. Neben einer Handbewegung des Fahrers, die auf eine Übernahmeabsicht beziehungsweise eine Übergabeabsicht schließen lässt, sollen weitere Anzeichen detektiert werden. Dazu werden mittels der mindestens einen Kamera weitere Körperbereiche des Fahrers erfasst und mittels Bildanalyse ausgewertet. Diese Erfassung kann aber auch mittels weiterer Innenraumkameras erfolgen.
Weitere Indikatoren für eine Übernahmeabsicht und/oder eine Übergabeabsicht können beispielsweise Gesten als besondere Ausgestaltung einer Handbewegung sein. Darunter sollen willentlich ausgeführte, wiederholbare Handbewegungen verstanden werden, die jeweils einer Übergabeabsicht oder einer Übernahmeabsicht zugeordnet sind. Derartige Gesten können sich auf die Benutzung einer Hand beschränken oder die Verwendung beider Hände erfordern. Die Gesten können als vordefinierte Gesten fahrzeugseitig vorgegeben sein und/oder als benutzerdefinierte Gesten vom Fahrer vorab festgelegt werden. Wird durch die mindestens eine Innenraumkamera eine solche Geste erfasst und mittels der Bildanalyse erkannt, ist die Übernahmeabsicht beziehungsweise die Übergabeabsicht eindeutig an das Fahrzeug übermittelt, so dass unverzüglich das Lenkrad in die entsprechende Position bewegt und der Fahrmodus gewechselt werden kann.
Ein anderer Indikator kann eine Blickrichtung des Fahrers sein. Diese kann anhand der Position und Ausrichtung seines Kopfes bestimmt oder direkt per Bildanalyse aus der Aufnahme der mindestens einen Innenraumkamera abgeleitet werden. Wird aus einer Handbewegung beispielsweise eine Übernahmeabsicht detektiert, der Fahrer schaut aber nicht in Fahrtrichtung, sondern beispielsweise zu einem Mitfahrer, ist eine Übergabe in eine manuelle Fahrt möglicherweise mit Gefahren verbunden, da der Fahrer den Verkehr nicht im Blick hat. Daher wäre es sinnvoll, in einer solchen Situation trotz der erkannten Übergabeabsicht keinen Wechsel des Fahrmodus und keine Verstellung des Lenkrads vorzunehmen und/oder mittels einer Warnung auf den Konflikt zwischen detektierter Handbewegung und detektierter Blickrichtung hinzuweisen.
Die Erfassung und Analyse der Blickrichtung des Fahrers kann dabei auch Rückschlüsse erlauben, ob die Handbewegung möglicherweise nur unwillkürlich ausgeführt wurde und daher keine tatsächliche Übergabe- oder Übernahmeabsicht bestand. Die Blickrichtung als weiterer Indikator ist dabei also auch als Verifikation zu der Handbewegung des Fahrers zu verstehen.
Alternativ oder zusätzlich kann eine Bewegung des Oberkörpers des Fahrers als weiterer Indikator für eine Übernahmeabsicht beziehungsweise Übergabeabsicht dienen. So kann ein Aufrichten des Oberkörpers in zeitlichem Zusammenhang mit einer auf eine Übernahmeabsicht deutenden Handbewegung als Bestätigung des Übernahmewillens dienen. Analog könnte ein Zurücklehnen bis hin in eine Liegeposition nach einer Handbewegung, die auf eine Übergabeabsicht schließen lässt, ebendiese bestätigen. Wie auch eine Analyse der Blickrichtung, erlaubt also die Analyse einer Oberkörperbewegung des Fahrers eine Abschätzung, ob eine unwillkürliche Handbewegung erfasst wurde oder der tatsächliche Wille zum Wechsel der Fahrmodi vorliegt, weil beispielsweise eine Übernahme einer manuellen Fahrt, während der Fahrer sich in liegender Position befindet, entweder nicht gefahrlos möglich ist oder nicht absichtlich angezeigt wurde. Ein wichtiger Anwendungsfall des erfindungsgemäßen Verfahrens wird die Übernahme des Fahrzeugs und der Wechsel in die manuelle Fahrt sein, insbesondere in kritischen Situationen. Daher wäre es zweckmäßig, wenn bei Detektion einer Übernahmeabsicht das Lenkrad zunächst schnell und bei Annäherung an die Fahrposition verlangsamt in Richtung der Hände des Fahrers bewegt wird. Ziel dessen ist es, die Distanz zwischen den Händen des Fahrers und dem Lenkrad möglichst schnell auf ein Minimum zu reduzieren und erst im letzten Abschnitt der Bewegung des Lenkrads eine reduzierte Geschwindigkeit beim Verstellen des Lenkrads zu verwenden, um dem Fahrer einen komfortablen Kontakt mit dem Lenkrad zu ermöglichen.
„Schnell“ kann dabei einerseits bedeuten, dass die Bewegung des Lenkrads mit der höchstmöglichen Geschwindigkeit, die zum Beispiel bei der Lenksäulenverstellung möglich ist, ausgeführt wird, zumindest aber einer hohen Geschwindigkeit, anderseits aber vor allem eine relative Angabe gegenüber der deutlich langsameren Bewegung kurz vor dem Kontakt der Hände des Fahrers mit dem Lenkrad bedeutet.
Vorzugsweise kann die schnelle Bewegung über die Hälfte der bei der Bewegung des Lenkrads zurückzulegenden Strecke, weiter bevorzugt über 60 % und noch weiter bevorzugt über 70 % erfolgen.
Um die Übernahme der Fahrt beziehungsweise das Greifen des auf den Fahrer zubewegten Lenkrads zu erleichtern, ist es sinnvoll, wenn bei Detektion einer Übernahmeabsicht das Lenkrad auf eine fahrerspezifisch vorbestimmte Position bewegt wird. Es soll also nicht einfach nur aus seiner Ruheposition heraus und in Richtung Fahrzeuginneres bewegt werden, sondern in eine Position, in der der Fahrer das Lenkrad gut erreichen kann und die er insbesondere gewohnt ist. Im einfachsten Fall entspricht dies der Position des Lenkrads einer vorherigen manuellen Fahrt. Hat aber zwischenzeitlich ein Fahrerwechsel stattgefunden, kann sich die gewohnte beziehungsweise gewünschte Lenkradposition unterscheiden. Daher soll der Fahrer und seine bevorzugte Lenkradposition miteinander korreliert werden, so dass anhand der Fahreridentität bei Detektion einer Übernahmeabsicht die Fahrposition des Lenkrads individuell eingestellt werden kann. Die Fahreridentität kann beispielsweise anhand des verwendeten Fahrzeugschlüssels oder mittels Bilderkennung bestimmt werden.
In einer alternativen Ausgestaltung des Verfahrens soll bei Detektion einer Übernahmeabsicht anhand der Position der Hände des Fahrers und/oder der Bewegungsrichtung der Hände des Fahrers eine wahrscheinliche Kontaktposition der Hände des Fahrers mit dem Lenkrad bestimmt und das Lenkrad zu der wahrscheinlichen Kontaktposition bewegt werden.
Die Position und/oder die Bewegungsrichtung der Hände des Fahrers beim Anzeigen der Übernahmeabsicht ist durch die Erfassung mit der mindestes einen Innenraumkamera und der nachfolgenden Bildanalyse bekannt. Daher kann - beispielsweise durch eine geeignete Recheneinheit - berechnet oder zumindest abgeschätzt werden, wohin sich die Hände des Fahrers bewegen und zu welchem Zeitpunkt sie an welcher Position sind. Die voraussichtliche beziehungsweise wahrscheinliche Position und/oder Bewegungsrichtung der Hände des Fahrers kann mit den möglichen Bewegungsrichtungen und/oder der möglichen Bewegungsgeschwindigkeit des Lenkrads abgeglichen werden, so dass die Bestimmung einer wahrscheinlichen Kontaktposition, an der die Hände des Fahrers das Lenkrad berühren, möglich wird.
Es wird hier also nicht eine willkürliche Fahrposition oder eine fahrerspezifische Fahrposition des Lenkrads eingestellt, sondern eine Fahrposition, die den schnellstmöglichen Kontakt der Hände des Fahrers mit dem Lenkrad erlaubt. Diese kann jedoch auf bekannten Fahrpositionen, insbesondere fahrerspezifischen Fahrpositionen, des Lenkrads basieren und diese anpassen.
Es kann von Vorteil sein, wenn die Bewegung des Lenkrads bei einer Berührung durch den Fahrer gestoppt wird. Es kann heutzutage üblicherweise erfasst werden, ob das Lenkrad vom Fahrer berührt wird. Dazu sind verschiedene Techniken und Verfahren bekannt. Unabhängig von der gewählten Erfassung einer Lenkradberührung soll bei Feststellung einer solchen Berührung die Bewegung des Lenkrads in Richtung der Hände des Fahrers gestoppt werden. Dies gilt sowohl bei der Bewegung des Lenkrads in die Ruheposition als auch in die Fahrposition, da es in beiden Fällen Situationen gibt, in denen ein Stopp der Lenkradbewegung angebracht ist.
Wird das Lenkrad beispielsweise in eine Ruheposition bewegt, weil in die autonome Fahrt gewechselt werden soll, und tritt dann eine kritische Verkehrssituation auf, kann die Bewegung des Lenkrads durch eine Berührung abgebrochen werden und der Fahrer das Lenkrad greifen, um die Situation zu meistern. Beim Ausfahren des Lenkrads in die Fahrposition kann es Vorkommen, dass der Fahrer seine Hände schneller als abgeschätzt bewegt und/oder er in dem Moment eine andere Fahrposition bevorzugt. In beiden Fällen wäre eine weitere Bewegung des Lenkrads in seine Richtung nicht wünschenswert oder kontraproduktiv. Daher kann sie auch in diesem Fall durch Berührung des Lenkrads beendet werden. Eine spätere Anpassung der Fahrposition ist dadurch nicht ausgeschlossen.
Neben dem erfindungsgemäßen Verfahren ist ein Fahrzeug beansprucht, das autonom zu fahren ist und das ausgebildet und eingerichtet ist, das erfindungsgemäße Verfahren auszuführen. Ein solches Fahrzeug sollte dazu mindestens eine Innenraumkamera aufweisen, die zumindest die Hände des Fahrers erfasst, eine Einrichtung zur Verarbeitung und Analyse der von der mindestens einen Innenraumkamera erfassten Aufnahmen und eine Steuereinrichtung, die anhand der Ergebnisse der Bildanalyse die Verstellung des Lenkrads und den Wechsel des Fahrmodus auslöst.
Mit dem erfindungsgemäßen Verfahren und einem zu dessen Ausführung ausgebildeten Fahrzeug wird es möglich, durch eine Handbewegung den Fahrmodus eines Fahrzeugs zu wechseln und dabei die Bewegung des Lenkrads in eine dem Fahrmodus angepasste Position auszulösen. Ein Wechsel von autonomem Fahren zu manuellem Fahren und umgekehrt wird dabei einfach möglich, ohne dass erst Bedienelemente betätigt werden müssen. Dies erhöht den Komfort bei der Fahrt und verkürzt insbesondere beim Wechsel zum manuellen Fahrt die Übergabezeit, bis der Fahrer die Kontrolle über das Fahrzeug hat.
Die verschiedenen in dieser Anmeldung genannten Ausführungsformen der Erfindung sind, sofern im Einzelfall nicht anders ausgeführt, mit Vorteil miteinander kombinierbar.
Die Erfindung wird nachfolgend in Ausführungsbeispielen anhand der zugehörigen Zeichnungen erläutert. Es zeigen:
Figur 1 einen Fahrer bei einer autonomen Fahrt in einem Fahrzeug;
Figur 2 die Hände des Fahrers bei der Anzeige einer Übernahmeabsicht und
Figur 3 mögliche Positionen von Innenraumkameras zur Erfassung des Fahrers.
Figur 1 zeigt einen Fahrer 30 in einem Fahrzeug 50, der sich mit verschränkten Armen zurückgelehnt hat. Das Lenkrad 20 befindet sich in einer von ihm entfernten Position, die als Ruheposition 22 gekennzeichnet ist. An diese Position wird das Lenkrad 20 bewegt, wenn es während einer autonomen Fahrt nicht benutzt werden soll. Oberhalb des Lenkrads 20 und der Frontscheibe des Fahrzeugs (Position 12) ist einen Stereokamera 10 angeordnet, die eingerichtet ist, zumindest die Hände 32 des Fahrers 30 zu erfassen.
Anhand der Aufnahmen von den Händen 32 des Fahrers lassen sich dessen Handbewegungen analysieren und daraus erkennen, ob er das Fahrzeug 50 übernehmen möchte, also in eine manuelle Fahrt wechseln möchte. Um dies anzuzeigen, kann er wie in Figur 2 gezeigt in Richtung des Lenkrads 20 greifen. Zur Veranschaulichung sind seine beiden Hände 32 in verschiedenen Stadien 32. R und 32. L des Greifens dargestellt. Sobald anhand der Aufnahmen der mindestens einen Innenraumkamera 10 und der nachfolgenden Bildanalyse diese Greifbewegung detektiert ist, wird das Lenkrad 20 aus der Ruheposition 22 gemäß Figur 2 auf den Fahrer 30 zu in die Fahrposition 24 bewegt.
Die Bewegung des Lenkrads 20 erfolgt auf den ersten 70 % der Strecke, die das Lenkrad 20 zurücklegen muss, mit einer erhöhten Geschwindigkeit, um schnellstmöglich die Distanz zwischen dem Lenkrad 20 und den Händen 32 des Fahrers 30 zu reduzieren. Auf den verbleibenden 30 % der zurückzulegenden Strecke wird das Lenkrad 20 langsamer in die endgültige Fahrposition 24 bewegt, so dass der Fahrer 30 das Lenkrad 20 angenehm und komfortabel ergreifen kann. Zudem wird die Fahrt auf manuelle Fahrt umgestellt, sobald die Hände 32 das Lenkrad 20 beinahe greifen können.
Erreichen die Hände 32 des Fahrers 30 das Lenkrad 20 schon vor dessen angezielter Fahrposition 24, wird die Bewegung des Lenkrads 20 gestoppt, um mit der Bewegung des Lenkrads 20 nicht gegen die Bewegung des Fahrers 30 zu arbeiten.
Wahlweise kann die Fahrposition 24 des Lenkrads 20 eine fahrerspezifisch vorbestimmte Position sein, die in Kenntnis des aktuell agierenden Fahrers 30 beim Signalisieren einer Übernahmeabsicht durch das Lenkrad 20 angefahren wird, oder sie kann individuell bestimmt werden. Dazu wird anhand der Position der Hände 32 des Fahrers 30, deren Bewegungsrichtung und Bewegungsgeschwindigkeit abgeschätzt, wann und wo sie sich befinden werden und wann und wo sie das Lenkrad 20 ergreifen könnten. Diese wahrscheinliche Kontaktposition wird dann durch das Lenkrad 20 als Fahrposition 24 angefahren.
Legt der Fahrer 30 nun seine Hände 32 in seinen Schoß oder verschränkt sie, wie in Figur 2, wird dies ebenfalls von der mindestens einen Innenraumkamera 10 erfasst und nach der Bildanalyse als Übergabeabsicht erkannt. Demnach wird dann das Lenkrad 20 in die Ruheposition 22 bewegt und der Fahrmodus zu autonomer Fahrt gewechselt.
Um dem Fahrer 30 anzuzeigen, dass seine Übernahmeabsicht oder seine Übergabeabsicht erkannt wurde, wird auf einem Display im Bereich des Armaturenbrettes des Fahrzeugs 50 mittels Symbolen der Erfolg oder Misserfolg der Detektion angezeigt. Optional kann ein akustisches Signal ergänzend den Erfolg oder Misserfolg signalisieren.
Alternative Anordnungspositionen für die mindestens eine Innenraumkamera 10 oder optional weiterer Kameras sind aus Figur 3 ersichtlich. Neben der Position 12 über der Frontscheibe kann beziehungsweise können Innenraumkamera(s) am oder im Rückspiegel 14 und/oder an beziehungsweise in Innenraumbeleuchtungen 16 des Fahrzeugs 50 angeordnet und auf den Fahrer 30 ausgerichtet sein.
Um sicherzustellen, dass nicht versehentlich eine unwillkürliche Handbewegung einen Wechsel des Fahrmodus auslöst, wird neben den Händen 32 des Fahrers 30 auch sein Oberkörper 36 sowie die Position und Ausrichtung seines Kopfes 34 mittels der Innenraumkamera 10 oder einer optional vorhandenen weiteren Kamera (nicht gezeigt) erfasst. Anhand der Bildanalyse lässt sich erkennen, ob der Fahrer 30 in Fahrtrichtung nach vorn schaut, wenn eine erfasste Handbewegung auf eine Übernahmeabsicht schließen lässt. Ist dies der Fall, steht einem Wechsel des Fahrmodus zu manueller Fahrt und eine Bewegung des Lenkrads 20 in die Fahrposition 22 nichts entgegen. Blickt der Fahrer 30 hingegen nicht nach vorn oder sind seine Augen geschlossen, wird der Wechsel nicht vollzogen und ein Warnton ertönt.
In gleicher Weise wird die Position des Oberkörpers 36 des Fahrers 30 ausgewertet. Ist dieser nach hinten gelehnt oder liegt sogar, ist es unwahrscheinlich, dass eine Übernahme der Fahrt gewünscht ist.
Bezugszeichenliste
Innenraumkamera
Position oberhalb der Frontscheibe
Rückspiegel
Innenraumbeleuchtung
Lenkrad
Ruheposition des Lenkrads Fahrposition des Lenkrads Fahrer
Hand des Fahrers Kopf des Fahrers Oberkörper des Fahrers Fahrzeug

Claims

Patentansprüche
1. Verfahren zum Wechsel zwischen einer manuellen Fahrt und einer autonomen Fahrt in einem Fahrzeug (50), wobei mindestens eine Innenraumkamera (10) im Fahrzeug (50) zumindest die Hände (32) eines Fahrers (30) des Fahrzeugs (50) erfasst, und mittels einer Bildanalyse anhand einer Handbewegung eine Übernahmeabsicht und/oder eine Übergabeabsicht eines Fahrers (30) des Fahrzeugs (50) detektiert wird, und bei Detektion einer Übernahmeabsicht das Lenkrad (20) in Richtung der Hände (32) des Fahrers (30) bewegt wird und die Fahrt auf manuelle Fahrt umgestellt wird, und/oder bei Detektion einer Übergabeabsicht das Lenkrad (20) vom Fahrer (30) weg bewegt wird und die Fahrt auf autonome Fahrt umgestellt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass dem Fahrer (30) signalisiert wird, ob eine Detektion einer Übergabeabsicht und/oder einer Übernahmeabsicht erfolgt ist.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als die mindestens eine Innenraumkamera (10) eine Kamera oberhalb der Frontscheibe (12), in oder an einem Spiegel (14), in oder an einer Innenraumbeleuchtung (16) oder eine Kamera im Dach des Fahrzeugs (50) verwendet wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als die mindestens eine Innenraumkamera (10) eine Stereokamera, eine Wärmebildkamera oder eine Time-of-Flight-Kamera verwendet wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels der mindestens einen Innenraumkamera (10) weitere Indikatoren für eine Übernahmeabsicht und/oder eine Übergabeabsicht erfasst werden, insbesondere eine Geste des Fahrers (30), eine Blickrichtung des Fahrers (30) und/oder eine Bewegung des Oberkörpers (36) des Fahrers (30).
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei Detektion einer Übernahmeabsicht das Lenkrad (20) zunächst schnell und bei Annäherung an die Fahrposition verlangsamt in Richtung der Hände (32) des Fahrers (30) bewegt wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei Detektion einer Übernahmeabsicht das Lenkrad (20) auf eine fahrerspezifisch vorbestimmte Position bewegt wird.
8. Verfahren nach einem Ansprüche 1 bis 6, dadurch gekennzeichnet, dass bei Detektion einer Übernahmeabsicht anhand der Position der Hände (32) des Fahrers (30) und/oder der Bewegungsrichtung der Hände (32) des Fahrers (30) eine wahrscheinliche Kontaktposition der Hände (32) des Fahrers (30) mit dem Lenkrad (20) bestimmt wird und das Lenkrad (20) zu der wahrscheinlichen Kontaktposition bewegt wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bewegung des Lenkrads (20) bei einer Berührung durch den Fahrer (30) gestoppt wird.
10. Fahrzeug (50), das autonom fahrbar ist, ausgebildet zur Ausführung eines Verfahrens nach einem der vorhergehenden Ansprüche.
EP22722250.2A 2021-04-16 2022-04-12 Verfahren zum wechsel zwischen einer manuellen und einer autonomen fahrt und fahrzeug Pending EP4323255A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021203818.2A DE102021203818A1 (de) 2021-04-16 2021-04-16 Verfahren zum Wechsel zwischen einer manuellen und einer autonomen Fahrt und Fahrzeug
PCT/EP2022/059687 WO2022218950A1 (de) 2021-04-16 2022-04-12 Verfahren zum wechsel zwischen einer manuellen und einer autonomen fahrt und fahrzeug

Publications (1)

Publication Number Publication Date
EP4323255A1 true EP4323255A1 (de) 2024-02-21

Family

ID=81595658

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22722250.2A Pending EP4323255A1 (de) 2021-04-16 2022-04-12 Verfahren zum wechsel zwischen einer manuellen und einer autonomen fahrt und fahrzeug

Country Status (5)

Country Link
US (1) US12311983B2 (de)
EP (1) EP4323255A1 (de)
CN (1) CN117157226A (de)
DE (1) DE102021203818A1 (de)
WO (1) WO2022218950A1 (de)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7579217B2 (ja) * 2021-07-07 2024-11-07 日立Astemo株式会社 ステアバイワイヤ制御装置、及びステアバイワイヤ制御方法
DE102023105329A1 (de) * 2023-03-03 2024-09-05 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betrieb eines Lenksystems sowie Lenksystem
DE102023116663A1 (de) * 2023-06-23 2024-12-24 Otto-von-Guericke-Universität Magdeburg, Körperschaft des öffentlichen Rechts Verfahren zum Betreiben eines Transportfahrzeugs, Steuerungsvorrichtung, Speichermedium und Transportfahrzeug
GB202404575D0 (en) * 2024-03-28 2024-05-15 Lotus Tech Innovative Limited A vehicle and a plurality of vehicle systems
DE102024207468A1 (de) * 2024-08-07 2026-02-12 Volkswagen Aktiengesellschaft Verfahren und Steuersystem zum Steuern eines Kraftfahrzeugs im Rahmen eines Wechsels zwischen automatisierter und manueller Fahrzeugführung und entsprechendes Kraftfahrzeug
DE102024003193A1 (de) * 2024-09-30 2026-04-02 Mercedes-Benz Group AG Verfahren und Vorrichtung zur Übergabe einer Fahraufgabe an einen Insassen eines Fahrzeugs
DE102024132281A1 (de) 2024-11-06 2026-05-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Lenksystems, eines zumindest teilweise autonom betreibbaren Fahrzeugs, Elektronisches Lenksystem und Fahrzeug
CN121291498B (zh) * 2025-12-10 2026-04-03 吉林大学 一种人机共驾接管决策、稳控和优化方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160362117A1 (en) * 2015-06-15 2016-12-15 Steering Solutions Ip Holding Corporation Retractable handwheel gesture control

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013019141A1 (de) 2013-11-15 2015-05-21 Audi Ag Fahrmoduswechsel beim Fahrerassistenzsystem
GB2525840B (en) 2014-02-18 2016-09-07 Jaguar Land Rover Ltd Autonomous driving system and method for same
DE102014225383A1 (de) * 2014-12-10 2016-06-16 Robert Bosch Gmbh Verfahren zum Betreiben eines Kraftfahrzeugs, Kraftfahrzeug
DE102015206501A1 (de) 2015-04-13 2016-10-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrzeugs und Fahrzeug
US9944307B2 (en) * 2015-06-26 2018-04-17 Steering Solutions Ip Holding Corporation Steering assembly and method of monitoring a space within vehicle
US10780915B2 (en) * 2016-12-07 2020-09-22 Steering Solutions Ip Holding Corporation Vehicle steering system having a user experience based automated driving to manual driving transition system and method
DE102017201357A1 (de) * 2017-01-27 2018-08-02 Ford Global Technologies, Llc Steuerverfahren für ein Kraftfahrzeug-Lenksystem
JP2019046273A (ja) 2017-09-05 2019-03-22 オムロン株式会社 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法
US10577008B2 (en) 2017-10-19 2020-03-03 Toyota Research Institute, Inc. Systems and methods for operator hand position adjustment for airbag deployment
EP3532902A4 (de) * 2017-12-29 2019-12-25 Beijing Didi Infinity Technology and Development Co., Ltd. Systeme und verfahren zur wegbestimmung
DE102018204053A1 (de) * 2018-03-16 2019-09-19 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Bamberg Verfahren zum Betrieb eines Innenraums eines Kraftfahrzeugs
DE102018005421B4 (de) 2018-07-07 2024-02-01 Psa Automobiles Sa Vorrichtung und Verfahren zur beschleunigten Umschaltung aus einer Komfortstellung in eine Fahrstellung
DE102019201390A1 (de) * 2019-02-04 2020-08-06 Thyssenkrupp Ag Lenksäule für ein Kraftfahrzeug
US11214294B2 (en) 2019-02-22 2022-01-04 Joyson Safety Systems Acquisition Llc Retractable steering wheel
US20200339176A1 (en) * 2019-04-25 2020-10-29 GM Global Technology Operations LLC Methods for steering system impedance control
JP7400244B2 (ja) * 2019-07-29 2023-12-19 株式会社ジェイテクト ステアリング装置
CN113365878B (zh) * 2019-09-03 2025-06-06 北京航迹科技有限公司 自动驾驶系统的冗余结构
CN112236348B (zh) * 2019-09-03 2024-10-01 北京航迹科技有限公司 自动驾驶中的驾驶模式切换系统和方法
US11608088B2 (en) * 2019-10-14 2023-03-21 Continental Automotive Systems, Inc. Optics based detection of hands on-off and hand gesture based function selection for human driver
US11061401B2 (en) * 2019-10-29 2021-07-13 Ford Global Technologies, Llc Stowable steering wheel for autonomous vehicles
US11597342B2 (en) * 2020-06-16 2023-03-07 Uatc, Llc Systems and methods for a moveable cover panel of an autonomous vehicle
KR20220122012A (ko) * 2021-02-26 2022-09-02 현대자동차주식회사 자동차용 폴더블 스티어링 시스템
WO2023284948A1 (en) * 2021-07-13 2023-01-19 Lotus Tech Innovation Centre Gmbh Retractable steering wheel arrangement with non-planar steering wheel rim

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160362117A1 (en) * 2015-06-15 2016-12-15 Steering Solutions Ip Holding Corporation Retractable handwheel gesture control

Also Published As

Publication number Publication date
US20240367691A1 (en) 2024-11-07
DE102021203818A1 (de) 2022-10-20
CN117157226A (zh) 2023-12-01
WO2022218950A1 (de) 2022-10-20
US12311983B2 (en) 2025-05-27

Similar Documents

Publication Publication Date Title
EP4323255A1 (de) Verfahren zum wechsel zwischen einer manuellen und einer autonomen fahrt und fahrzeug
EP2877360B1 (de) Verfahren und fahrerassistenzsystem zum betreiben eines fahrzeugs bei einer gesundheitlichen störung eines fahrers
DE102018115134A1 (de) Selbsteinstellende Mittelkonsole mit Armerkennung
EP3793854B1 (de) Verfahren, vorrichtung und system zum beeinflussen zumindest eines fahrassistenzsystems eines kraftfahrzeugs
EP2653335B1 (de) Verfahren und Vorrichtung zur Anzeige einer Hand eines Bedieners eines Bedienelements eines Fahrzeugs
DE102012221036A1 (de) Verfahren zum automatischen Einschalten einer Park- und/oder Rangierassistenzsystem basierend auf dem Blickverhalten des Fahrers
DE102010013243A1 (de) Verfahren zur Ermittlung von auf die Blickrichtung eines Fahrers und die Position der Hände des Fahrers bezüglich des Lenkrads bezogenen Informationen in einem Kraftfahrzeug und Kraftfahrzeug
EP3254172B1 (de) Bestimmung einer position eines fahrzeugfremden objekts in einem fahrzeug
DE102018005421B4 (de) Vorrichtung und Verfahren zur beschleunigten Umschaltung aus einer Komfortstellung in eine Fahrstellung
EP3642695A1 (de) Verfahren zum betreiben einer anzeigevorrichtung für ein kraftfahrzeug sowie kraftfahrzeug
DE102022119855B4 (de) Vorrichtung und Verfahren zum Detektieren einer Ablenkung eines Fahrzeugführers
DE102012018685B4 (de) System und Verfahren zur Steuerung von zumindest einem Fahrzeugsystem mittels von einem Fahrer durchgeführter Gesten
WO2023213498A1 (de) Verfahren zum verstellen eines innenraumelements eines fahrzeugs sowie notfallassistenzsystem und fahrzeug mit einem notfallassistenzsystem
DE102004034748A1 (de) Fahrerassistenzsystem zur Müdigkeitserkennung und/oder Aufmerksamkeitsbeurteilung eines Fahrzeugführers
DE102013015204B4 (de) Verfahren und System zum Betreiben wenigstens einer Anzeigeeinrichtung eines Kraftwagens sowie Kraftwagen mit einem System zum Betreiben wenigstens einer Anzeigeeinrichtung
EP3230828A1 (de) Erfassungsvorrichtung zum erkennen einer geste und/oder einer blickrichtung eines insassen eines kraftfahrzeugs durch synchrone ansteuerung von leuchteinheiten
DE102019003557A1 (de) Verfahren zum Betrieb eines Fahrzeugs
DE102014200141A1 (de) Totmannschalter für Fahrerassistenzsysteme
DE102015010421A1 (de) Dreidimensionale Erfassung des Fahrzeuginnenraums
WO2020224985A1 (de) Verfahren zum durchführen eines rangiervorgangs eines kraftfahrzeugs mit aufmerksamkeitsbeurteilung eines nutzers sowie rangierassistenzsystem für ein kraftfahrzeug
DE102019219137B4 (de) Fahrzeugvorrichtung mit einem Steuerungselement und einem Fahrerassistenzsystem sowie ein Fahrzeug
EP2808826B1 (de) Verfahren und Vorrichtung zur Umfelderfassung und -überwachung von Fahrzeugen, insbesondere von Nutzfahrzeugen
DE102019130319A1 (de) Verfahren zum Betreiben eines in einem autonomen Fahrmodus fahrbaren Kraftfahrzeugs
DE102017211462B4 (de) Verfahren zur Unterstützung eines Anwenders eines Fortbewegungsmittels, Fahrerassistenzsystem und Fortbewegungsmittel
DE102018220760A1 (de) Verfahren zum automatischen Einstellen eines Spiegels eines Kraftfahrzeugs, Spiegeleinstellanordnung und Kraftfahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20231213

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20241017