EP4634024A1 - Verfahren zum betreiben eines assistenzsystems, assistenzsystem und verkehrsmittel damit - Google Patents

Verfahren zum betreiben eines assistenzsystems, assistenzsystem und verkehrsmittel damit

Info

Publication number
EP4634024A1
EP4634024A1 EP23833373.6A EP23833373A EP4634024A1 EP 4634024 A1 EP4634024 A1 EP 4634024A1 EP 23833373 A EP23833373 A EP 23833373A EP 4634024 A1 EP4634024 A1 EP 4634024A1
Authority
EP
European Patent Office
Prior art keywords
activity
route
duration
transport
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23833373.6A
Other languages
English (en)
French (fr)
Inventor
Manuel Martin
Frederik Diederichs
Michael Voit
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Publication of EP4634024A1 publication Critical patent/EP4634024A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/085—Changing the parameters of the control units, e.g. changing limit values, working points by control input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
    • B60W60/00136—Planning or execution of driving tasks specially adapted for occupant comfort for intellectual activities, e.g. reading, gaming or working
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents

Definitions

  • the disclosure relates to an assistance in a means of transport, in particular in a motor vehicle, with a camera-based recognition of an activity of a user of the means of transport in a passenger compartment of the means of transport based on image data from a camera unit and an adapted execution of a further function by a functional unit.
  • a means of transport i.e. a passenger compartment of a means of transport, such as in a passenger car or a truck, but also in a drone taxi or a gondola, it is becoming increasingly important to identify the activities, in particular activities for which assistance is available from the means of transport and/or activities that are not permitted when using the means of transport in the respective role of the user, and possible
  • Distractions of users ie the vehicle occupants and in particular a to record the data of the user responsible for driving the means of transport.
  • This makes it possible, for example, to optimize the transfer of driving responsibility from a navigation and/or control unit of a (partially) automated means of transport back to the driver, to adapt assistance systems of the means of transport to the respective activity of the user, for example by proactively offering functions, or to take targeted safety measures, such as deploying an airbag adapted to a respective recognized body pose.
  • Driving functions, comfort functions and safety functions in the means of transport can thus be improved based on a respective recognized activity.
  • the comfort functions can in particular include entertainment functions such as gaming functions and/or communication functions and/or work functions.
  • the safety functions can in particular include a monitoring function to ensure appropriate behavior if there is no person with driving or leadership responsibility (driver) and/or no staff in an autonomously driving means of transport.
  • a so-called body pose activity recognition is basically known, in which people are detected in the image data generated by the cameras using one or more cameras in the passenger compartment and a configuration of the skeleton of each of the detected people is recognized in three dimensions, i.e. calculated according to a predetermined anatomical model.
  • the passenger compartment can refer to a closed space intended for accommodating users, such as the passenger compartment of a sedan and/or a partially open space intended for accommodating users, such as the passenger compartment of a convertible and/or an open space intended for accommodating users, such as the passenger compartment of a motorcycle.
  • the respective activity is then recognized or classified, i.e.
  • the recognition can also include a hierarchical class model, in which classes can each have one or more subclasses.
  • the class "uses phone” can be defined as subclasses "uses phone with Mobile phone to ear” and “using hands-free phone”.
  • end-to-end recognition in which the image data from the cameras is fed directly into a classifier and activities are recognized accordingly without intermediate steps such as the analysis of the body pose described.
  • One aspect relates to a method for operating an assistance system in a means of transport, in particular a driver assistance system in a means of transport.
  • the means of transport can be an airborne means of transport such as a drone taxi or a gondola and/or a waterborne means of transport such as a ship and/or a land-based means of transport such as a motor vehicle, i.e. a passenger car and/or a truck and/or a bus.
  • One method step is a camera-based detection of an activity of a user of the means of transport, in particular of a user who at least temporarily bears the management responsibility for the means of transport, in a passenger compartment of the means of transport. This is carried out using image data from a camera unit by a computing unit.
  • a further step in the method is to estimate a time duration for the detected activity, ie to estimate the length of the period in which the Users of the recognized activity pursue a respective prediction by the computing unit. This can be done empirically, for example, based on activities specifically recognized for the user in the past and/or according to a stored specification.
  • the duration can also be estimated based on additional information provided to the computing unit; for example, many articles provided on the Internet provide an expected reading time as additional information. Estimating can therefore be understood as a calculation based on certain assumptions.
  • a mental load associated with the activity which can also be understood in the sense of "cognitive involvement" can also be estimated and/or a fallback time, i.e.
  • the fallback time can therefore be understood as the time required for a transition from the recognized activity to the other activity after a warning from the means of transport.
  • Mental load and fallback time can be estimated independently of one another or together, for example the fallback time can be estimated based on the mental load. The respective models and/or empirical data can be used for the estimation.
  • a further method step is providing activity data, which specify the recognized activity and the estimated duration of the recognized activity and the activity associated with the activity in the activity data, to at least one functional unit.
  • the activity data can specify the estimated mental strain associated with the respective recognized activity and/or the relapse time associated with the respective recognized activity.
  • a respective function is then carried out by the functional unit depending on the recognized activity specified in the activity data and/or the associated duration of the recognized activity and/or the estimated mental strain and/or the estimated relapse time.
  • camera-based detection can be used to detect that the user is reading. If a longer duration is estimated for reading, for example reading an article, a book or e-mails, a lighting function of an interior lighting unit can be adjusted as a further functional unit, for example the brightness can be increased. If, on the other hand, a shorter duration is estimated for the activity, here reading, for example when reading an SMS, the lighting can be omitted in order to avoid the eyes adapting to reading and thus possibly promote safety.
  • the execution of the function by the functional unit depending on the specified activity and/or the associated duration can therefore include checking the length of the duration, with the function of the further functional unit in particular being adjusted, preferably automatically adjusted, if the estimated duration exceeds a predetermined limit duration. This can be at least 15 seconds, for example.
  • assistance systems can adapt better than before to the respective activity of the user and it is therefore also possible to proactively offer functions or to select the right time for proactive messages, in particular requests for action for the user.
  • a possible transfer of driving responsibility from a (partially) automated means of transport back to the driver can be optimized in this way, as will be explained in more detail below.
  • the effect of safety measures can also be improved in this way, for example by taking into account a body pose typical for a certain activity.
  • the recognized activity can therefore serve as the basis for many use cases. If the user wants to read a book, for example, this can be recognized and a reading light can be switched on automatically or the reading intention can be taken into account when dimming the interior lighting.
  • the navigation unit must warn in good time or wait until the phone call is over. If a particular activity is detected for the user in the driver and/or passenger seat that requires a high level of concentration, it may be better, for example, for a fully automated vehicle not to choose a route that is dynamically intensive, which could irritate or distract the user, or even cause nausea (“mo- By estimating the duration of detected activities, settings can be made automatically that previously had to be made manually by the driver or another user. Manual interventions in the functions of the vehicle are reduced accordingly.
  • This not only contributes to increased comfort, but can also significantly increase safety, as the assistance system can take more information into account when making the appropriate settings and, in particular, when planning a route, for example, a longer time horizon can be viewed than is possible for a human user.
  • the detected activity is stored with the estimated and/or otherwise recorded associated duration and/or a specification of the mental strain associated with the detected activity and/or the relapse time associated with the detected activity in an activity database by a storage unit.
  • the activity database can also contain further information, for example typical start times or locations for the activities. This can be done, for example, using so-called artificial intelligence (KI), ie a trained or learning algorithm that recognizes recurring patterns, in particular characteristics such as a typical duration of recurring patterns of recognized activities.
  • the Kl can include a neural network or be such a neural network.
  • the duration is estimated based on the same and/or similar activities according to a given similarity criterion and the duration that is stored for the same or similar activity.
  • the similarity criterion can be implicitly specified with the structure of the learned algorithm, in particular with the neural connections of the neural network.
  • the activity database can also contain sequences of different activities that are to be expected with a corresponding probability. This can also be done on a user-specific basis. The estimation of the duration is improved accordingly, especially on a user-specific basis, and further planning is also made possible, for example in the form of to-do lists with a series of activities and with the durations of the different activities in the means of transport for the respective users.
  • the activity manager can thus be enabled to recognize not only for the users, i.e. occupants of the means of transport, which activity they are pursuing and how long they will pursue this activity, but also which activity they will most likely pursue afterwards and how long the subsequent activities will each take approximately, i.e. estimated.
  • the activity manager can accordingly predict user behavior ("behavior prediction"), i.e. expand activity recognition to intention recognition.
  • one of the at least one functional unit is a navigation unit.
  • Carrying out the function of the navigation unit includes at least partially autonomous control, i.e. partially autonomous or fully autonomous control, of a driving function of the means of transport according to a predetermined route, in particular longitudinal guidance such as a speed specification.
  • the at least partially autonomous control of the driving function can take place here in particular in the form of controlling a driving function according to SAE levels 1-5 according to J3016 of January 16, 2014, updated on April 30, 2021, or include such control of a driving function according to the respective SAE level; accordingly, partially autonomous driving also includes so-called assisted driving in In the sense of the SAE level.
  • the driving function of the means of transport can be adapted depending on the detected activity and/or the associated duration and/or the associated mental strain and/or the recovery time of the activity data provided (based on a previous specification, for example before the activity was detected and/or before the duration/mental strain/recovery time of the activity was estimated) in such a way that the user is permitted to complete the detected activity in accordance with a stored legal or other, for example physiologically determined, specification for semi-autonomous control.
  • a stored legal or other for example physiologically determined, specification for semi-autonomous control.
  • the functional unit in this case the navigation unit, maintains the boundary conditions within its sphere of influence which allow the user's activity, i.e. are a prerequisite for the user's activity (within specified limits). The user is therefore not prompted or forced to interrupt his activity in accordance with the stored specification by carrying out the function, in particular the at least semi-autonomous control, when following the specified route.
  • the driving function of the means of transport can be adapted to the detected activity, for example reading an article or processing emails on a given route, by adjusting the speed, i.e. in this case reduced, in such a way that the detected activity is expected to be completed, i.e. according to the estimated duration, when the end of the motorway is reached, i.e. at the end of a section of the route that runs on the motorway.
  • the speed i.e. in this case reduced
  • the navigation unit is also certified to autonomously control the driving function of the means of transport for a subsequent section of the route, which, for example, does not run on a motorway but on a winding country road, the slowing down on the motorway and the resulting completion of the activity, for example due to a Other requirements such as a physiological requirement or simply a stored preference of the user can prevent the occurrence of nausea, which often occurs when reading on winding roads. This further improves comfort and safety.
  • carrying out the function includes specifying the route for the at least partially autonomous control of the driving function of the means of transport.
  • Specifying the route also includes specifying a previously specified route, i.e. adapting a previously specified route, an original route.
  • the specification can be fully automatic or semi-automatic, for example after the user has approved an original route as the then specified route.
  • This is also known from known route guidance systems in which a user is suggested different route alternatives from which the user can select one or one of the routes is selected automatically, for example after a specified time has elapsed.
  • original routes can be specified again, i.e. adapted, for example, to changed traffic conditions.
  • the route is specified, in particular adapted, depending on the activity detected and/or the associated duration and/or the associated mental strain and/or the recovery time of the activity data provided, in such a way that the user is permitted to complete the detected activity in accordance with the stored legal or other requirements for semi-autonomous control.
  • the route can also be adapted to changed activities, for example if a user does not undertake the activity planned or expected by the activity manager as described below, but rather a different one.
  • an existing or originally taken route can also be re-specified, i.e. adapted. when an activity such as processing an email is detected unexpectedly, i.e. contrary to a prediction or plan. This also improves comfort and safety in the vehicle.
  • At least one activity planned by the user is recorded with an estimate of the respective associated duration and/or the associated mental strain and/or the fallback time for the planned, i.e. expected future activity.
  • the recording is carried out via a recording unit, in particular using the activity database.
  • the recording unit can comprise an input unit for an input by the user and/or an interface unit, for example to access the user's appointment calendar, email program or similar information sources, or can be coupled to the corresponding units.
  • the recording unit records the one or more planned activities from a prediction unit, which is designed to predict the at least one activity planned by the user.
  • the prediction unit can use a KI-based algorithm, which, for example, based on the activity database, makes a prediction for the journey, in particular for a specific route and/or the specific time period, of the user's expected activity.
  • the user can also provide a corresponding to-do list of planned activities to the recording unit via the input unit or the interface unit.
  • the route is specified depending on the activity planned by the user and/or the respective associated duration and/or the associated mental strain and/or the relapse time.
  • a user can plan to work on an email on the way to work as an activity. This can be recorded by the recording unit when the user explicitly enters this, for example via a to-do list, or via the prediction unit, which knows, for example, that the user usually works on emails on the way to work on weekdays.
  • a route can be specified from the outset that leads via the motorway and enables fully automatic control, for example although this is slower than an alternative route through a built-up area due to traffic jams.
  • the route via the motorway is preferred and suggested to the user, if not automatically approved for route guidance, in order to allow the user to pursue and complete the usual planned activity. This also increases the comfort and safety of the means of transport.
  • specifying the route includes identifying at least one route section with constant or essentially constant requirements for the user, i.e. the same or essentially constant boundary conditions for the activity, such as a provisional travel duration assigned to the respective route section, comparing the at least one time duration assigned to the planned activity or activities with the at least one provisional travel duration, assigning the one or more planned activities to one or more respective route sections based on a comparison result for the time duration and the travel duration (which can be the provisional travel duration or, as explained below, an adjusted travel duration), and displaying the specified route with the at least one route section depending on the at least one assigned activity, in particular with a specific identifier for the at least one route section for the assigned activity.
  • selecting the specified route for the at least partially autonomous control can be done automatically, for example by means of a timer as is known for the fastest route, or manually by the user.
  • the constant or essentially constant requirements i.e. the requirements that remain the same apart from a predetermined deviation, can correspond in particular to a stored legal and/or physiological requirement, as described above, and preferably relate to a requirement at least set by the user responsible for driving the vehicle.
  • the requirements can include a (particularly user-specific) specified maximum permissible lateral and/or longitudinal acceleration.
  • a lateral and/or longitudinal acceleration to be expected on the respective route section can be calculated, for example, from a known road course with the respective travel speeds assumed.
  • a route to the customer provided by a conventional route planner, for example, can be specified as the original route and then adapted depending on the planned activity(s), in this case the planned or expected processing of emails.
  • the new route may have many distractions in an initial section of the route, because the user does not drive onto the nearby motorway as usual, but instead first needs to take a longer journey to another motorway.
  • the estimated duration of processing emails is compared with the respective travel times on the corresponding route sections and the corresponding requirements for the user. For example, it may be impossible for a user to check their emails while driving through a town or on a country road because the navigation unit is not certified for SAE Level 3 compliant driving.
  • Email processing is then assigned to the later section of the route and the corresponding route with the later email processing is displayed to the user. The user can then see where and when on the planned route they can check their emails. This further improves safety and comfort in the means of transport.
  • a stored urgency of the respective activity i.e. an explicit or implicit appointment request that is linked to the respective activity, for example in the activities database
  • this can be done by assigning more urgent activities to route sections that are arranged within the route specified by the navigation unit before route sections that are assigned to less urgent activities.
  • the user can plan a business phone call with high urgency on the day of travel. This is then assigned to a route section, for example, which would be assigned to email processing without the phone call.
  • a private phone call without urgency is assigned to a route section after email processing if email processing is set to increased (but not high) urgency. This also contributes to improved use of time and clearer focus and thus to improved comfort and increased safety in the means of transport.
  • the provisional travel duration of one or more route sections can be adapted to the respective duration of one or more activities if adjusting the provisional travel duration leads to an improved result of the assignment in terms of a predetermined optimality criterion. This can be done in particular by adjusting a speed on the corresponding route section. For example, if a route section that is suitable for a planned activity except for a deviation in the duration that does not exceed a predetermined limit value, can be made suitable by reducing the speed, i.e. adapted to the activity. In return, for example, a speed on another route section can then preferably be increased so that the total travel time can remain unchanged.
  • the result can be improved in terms of the predetermined optimality criterion, since the planned activity is still carried out and completed in the means of transport, so that the total time spent on the trip plus the activity is less than if the activity were carried out after the trip.
  • adjusting the provisional travel duration can also be specified so that this is only done for activities of a given urgency, which is particularly advantageous.
  • experience shows that there may be enough time on the way to work, for example due to traffic jams, to process emails on the motorway section of the route. If, for example, the travel time on the motorway is reduced If, for example, there is no traffic jam, the activity - in this case, processing emails - could be assigned to a different section of the route. If this is not possible or is not optimal due to other activities planned for the route, for example, the provisional journey time can be adjusted accordingly, for example by reducing the speed of the vehicle on the motorway section of the route, thus creating sufficient time for processing emails while driving on the motorway. The total journey time will then be increased, but the result will be improved because the activities planned for the journey can be completed. Overall, time is used optimally and time is actually saved. This also contributes to increased relaxation and therefore comfort and safety in the vehicle.
  • the specification of the route includes the specification of at least two alternative routes that differ from one another, with the identification, comparison, assignment and display taking place for the different alternative routes.
  • the different alternative routes have a different chronological sequence of the planned activities.
  • the user can decide whether he wants, for example, the faster route with email processing at the beginning or the slower route in which the business phone call is planned first.
  • the selection can also be made automatically, for example based on the recognized activity, so that the route matches the recognized activity: If the user starts processing emails, in this example the faster alternative route is automatically selected; if he starts making a phone call, the slower alternative route is automatically selected. This also leads to a more intuitive assistance function, and thus increases comfort and safety in the means of transport.
  • the activity data is provided to several functional units that function independently of one another.
  • a central activity management or a central activity manager is thus implemented, through which independent Functional units that function independently of one another react coherently to the behavior of the user(s).
  • the activity data can be sent and distributed in various ways, e.g. via a multi-broadcast to the entire means of transport, ie many or all of the functional units of the means of transport, or via a publish/subscribe procedure to selected individual functional units.
  • the infrastructure can be either the CAN bus or equivalents or alternatives such as Ethernet.
  • the respective assistance systems with their functional units can accordingly access the activity data and react to it accordingly.
  • Route planners can use the activity data to adapt driving to the interior activities both from a comfort perspective (cf.
  • Interior safety systems can use the activity data, for example, to be able to activate airbags adaptively, lighting assistance systems to take the respective activities of the occupants into account when the lighting changes, voice-based assistance systems to avoid interrupting ongoing conversations or phone calls between the occupants and to plan dialogues in advance, for example when announcements or queries are made by the navigation unit.
  • the provision can be made to a functional unit for a voice-based assistance function, which can also be or include the navigation unit, and a voice output function can be carried out as the or one of the functions to be carried out or carried out with a delay depending on the activity specified in the activity data and/or the associated duration in order not to interrupt conversations or phone calls of the occupants.
  • the provision can also be made to at least one functional unit for a safety function, in particular for an interior safety function such as an airbag triggering function and/or at least one functional unit for a comfort function, in particular an interior lighting function such as a reading light function. All of this contributes to increased comfort and improved safety in the vehicle.
  • the activity manager or activity management could not operate centrally, but be installed separately in the various assistance systems, i.e. independently of each other or instantiated in the software. and only act in a way that is useful for the functioning of the respective individual assistance systems, i.e. the proposed procedure is carried out in independent instances.
  • the navigation unit would be a self-contained system that uses the cameras in the vehicle to recognize and process the activities of the occupants.
  • the other systems for example functional units for an airbag triggering function, a reading light function and a voice-based assistance function, would do the same. However, all systems would have in common that the respective activities, including the associated duration, are recognized or estimated in order not only to check whether activities are present, but also to be able to plan ahead.
  • a further aspect relates to an assistance system, in particular a driver assistance system, for a means of transport, in particular for a motor vehicle.
  • the assistance system has a camera unit with one or more cameras for generating image data of an activity of a user of the means of transport in a passenger compartment of the means of transport, and a computing unit with one or more computers for recognizing the activity of the user in the passenger compartment based on the generated image data.
  • the computing unit is designed to estimate a time duration for the recognized activity and to provide activity data, which specify the recognized activity and the estimated time duration for the recognized activity, to at least one functional unit.
  • the functional unit which can be part of the assistance system but does not have to be, is designed accordingly to carry out at least one function depending on the activity specified in the activity data and/or the associated duration.
  • Fig. 1 shows an exemplary embodiment of an assistance system in a means of transport.
  • the assistance system 1 is installed in a motor vehicle as a means of transport 2. It comprises a camera unit 3 for generating image data of an activity of a user 4 of the means of transport 2 in a passenger compartment 5 of the means of transport 2.
  • the assistance system 1 also has a computing unit 6 for recognizing the activity of the user in the passenger compartment 5 based on the generated image data.
  • the computing unit 6 is designed to estimate a time duration for the recognized activity and to provide activity data which specify the recognized activity and the estimated time duration for the recognized activity to at least one functional unit 7.
  • the further functional unit 7 is designed to carry out a function depending on the activity specified in the activity data and the associated duration.
  • the functional unit 7 is designed as a navigation unit and is coupled to a steering unit 8 for steering the means of transport 2, a drive unit 10 for driving the means of transport 2, a braking unit 11 for braking the means of transport 2 and an interactive display unit 9 for displaying a route and receiving an input from the user 2.
  • the computing unit 6 is additionally coupled to a storage unit 12, which is designed to store the recognized activity with the estimated and/or a recorded associated time duration in an activity database. Accordingly, the estimation of the time duration is carried out based on the same and/or similar activities according to a predetermined similarity criterion and the time duration which is stored for the same or similar activity in the storage unit 12.
  • the assessment The similarity can be determined, for example, using Kl-based methods, i.e. based on a learned or trained algorithm.
  • the assistance system thus serves as an activity manager, which is able to recognize for the user(s) 4, i.e. occupants of the means of transport 2, which activity they are pursuing, and preferably also which subsequent activity they will most likely pursue after this and approximately how long the respective activities will last.
  • the activity manager can also be used to assign a to-do list of the user 2, in particular a driver, to the most suitable route or route sections. This is particularly relevant for truck drivers and other drivers who are supervised by a dispatcher.
  • the level of automation possible on the respective route section i.e.
  • the assistance system 1 shown enables a to-do list to be included in the route planning in order to complete the activities listed on the to-do list during the journey or trip. This can be displayed on a route plan of the navigation unit, for example, in a similar way to how traffic jam sections are displayed.
  • the activity manager can provide interfaces to all common vehicle systems, i.e. CAN bus, Ethernet and the like, in order to be able to record the activities of the user(s) 4 as a central element and to make them available to all other connected systems with their corresponding functional units. This makes it possible for a (partially) automated vehicle to adapt the route to the current state of the user and to plan it in advance, for example to avoid motion sickness.
  • the navigation unit can synchronize route sections with the activities of the users 4 in the interior 5 and adjust the route if necessary.
  • the navigation unit can The navigation unit can compare route sections with the requirements for SAE-level compliant behavior and check whether all users, especially the driver, comply with these requirements.
  • the (partially) automated vehicle 2 should take over driving responsibility on a certain section of the route.
  • the route section requires a certain behavior from user 2 so that he or she behaves in accordance with the automation level and the transfer of driving responsibility to the motor vehicle 2 is permitted. If the user 4 does not behave accordingly, the navigation unit or its control function can intervene, warn the users in good time or choose a different route.
  • the aim here is to establish a match between the activities of the user 4 and the requirements of the motor vehicle 2 and the route.
  • the recognition of the activity and the comparison with level-compliant behavior can also be used for safety purposes in, for example, automated taxis, Uber services, automated long-distance transport or similar.
  • the activity manager can also save the recognized activities and, if required, provide a list of past activities for each user 4. This can be advantageous, for example, for a voice assistance function which could proactively address the user 4 when approaching a rest stop and suggest that they take a break after a journey of a specified minimum length. However, if it has recently been detected, i.e.
  • the activities identified can be shown as a proportion of the total time, such as the duration of the journey.
  • the activity data can show that user 4 spent 20% of the driving time with a passenger or interacted with infotainment for 10% of the driving time.
  • the basis of the approach shown here is therefore the automated recognition of the activities of the users, preferably all users of a means of transport, as well as the creation of correlated durations of the respective activities for planning in the the respective need of the assistance system and, if necessary, an additional necessary prediction of the follow-up activity or several probable follow-up activities.
  • the detection of the activities is preferably carried out centrally for all users 4, ideally kept in a corresponding activity database and transmitted to the

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Navigation (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems (1) in einem Verkehrsmittel (2), insbesondere in einem Kraftfahrzeug, mit einem kamerabasiertes Erkennen einer Aktivität eines Nutzers (4) des Verkehrsmittels (2) in einer Fahrgastzelle (5) des Verkehrsmittels (2) anhand von Bilddaten einer Kameraeinheit (3), durch eine Recheneinheit (6); mit einem Schätzen einer zeitlichen Dauer für die erkannte Aktivität durch die Recheneinheit (6); mit einem Bereitstellen von Aktivitäten-Daten, welche die erkannte Aktivität und die für die erkannte Aktivität geschätzte zeitliche Dauer spezifizieren, an zumindest eine Funktionseinheit (7); und mit einem Durchführen zumindest einer Funktion durch die Funktionseinheit (7) in Abhängigkeit von der in den Aktivitäten-Daten zu einer spezifizierten Aktivität zugehörigen Dauer.

Description

VERFAHREN ZUM BETREIBEN EINES ASSISTENZSYSTEMS, ASSISTENZSYSTEM UND VERKEHRSMITTEL DAMIT
Die Offenbarung betrifft eine Assistenz in einem Verkehrsmittel, insbesondere in einem Kraftfahrzeug, mit einem kamerabasierten Erkennen einer Aktivität eines Nutzers des Verkehrsmittels in einer Fahrgastzelle des Verkehrsmittels anhand von Bilddaten einer Kameraeinheit und einem angepassten Durchführen einer weiteren Funktion durch eine Funktionseinheit. Im Innenraum eines Verkehrsmittels, d. h. einer Fahrgastzelle eines Verkehrsmittels, wie beispielsweise in einem Personenkraftwagen oder einem Lastkraftwagen, aber auch in einem Drohnentaxi oder einer Gondel, wird es immerwich- tiger, die Aktivitäten, insbesondere Aktivitäten für die seitens des Verkehrsmittels Assistenz verfügbar ist und/oder Aktivitäten, die bei Nutzung des Verkehrs- mittels in der jeweiligen Rolle des Nutzers nicht erlaubt sind, und möglichen
Ablenkungen der Nutzer, d. h. der Fahrzeuginsassen und insbesondere eines für das Führen des Verkehrsmittels verantwortlichen Nutzers zu erfassen. Dies ermöglicht es beispielsweise eine Übergabe der Fahrverantwortung von einer Navigations- und/oder Steuereinheit eines (teil-)automatisierten Verkehrsmittels zurück zum Fahrer zu optimieren, Assistenzsysteme des Verkehrsmittels auf die jeweilige Aktivität der Nutzer anzupassen, beispielsweise proaktiv Funktionen anzubieten, oder gezielte Sicherheitsmaßnahmen zu treffen, wie beispielsweise eine an eine jeweilige erkannte Körperpose adaptierte Airbag-Auslösung vorzunehmen. Es können somit basierend auf einer jeweils erkannten Aktivität Fahrfunktionen, Komfortfunktionen und Sicherheitsfunktionen im Verkehrsmittel verbessert werden. Die Komfortfunktionen können insbesondere Unterhaltungsfunktionen wie beispielsweise Spielefunktionen und/oder Kommunikationsfunktionen und/oder Arbeitsfunktionen umfassen. Die Sicherheitsfunktionen können insbesondere eine Überwachungsfunktion umfassen zum Sicherstellen angemessenen Verhaltens, wenn es in einem autonom fahrenden Verkehrsmittel keine Person mit Fahr- bzw. Führungsverantwortung Führer und/oder kein Personal gibt.
Grundsätzlich bekannt ist beispielsweise eine sog. Körperposen-Aktivitätser- kennung, bei welcher mittels einer oder mehrerer Kameras in der Fahrgastzelle Personen in den von den Kameras erzeugten Bilddaten detektiert werden und für die detektierten Personen jeweils eine Konfiguration ihres Skeletts in drei Dimensionen erkannt, d. h. einem vorgegebenen Anatomiemodell folgend berechnet wird. Insbesondere kann die Fahrgastzelle einen geschlossenen zur Nutzeraufnahme bestimmten Raum wie die Fahrgastzelle einer Limousine und/oder einen teilweise offenen zur Nutzeraufnahme bestimmten Raum wie die Fahrgastzelle eines Cabrios und/oder einen offenen zur Nutzeraufnahme bestimmten Raum wie die Fahrgastzelle eines Motorrads bezeichnen. Aus der Bewegung der Gliedmaßen, der Position bekannter Gegenstände oder Einrichtungen in der Fahrgastzelle wie dem Lenkrad und möglicherweise anderen Merkmalen wird dann die jeweilige Aktivität erkannt oder klassifiziert, d. h. als zu einem Typ von Aktivität gehörig erkannt. Beispielsweise können für diese Klassifizierung bzw. Erkennung Klassen wie „öffnet Flasche", „trinkt", „telefoniert", „tippt am Notebook", „schläft" und dergleichen mehr vorgegeben sein. Die Erkennung kann auch ein hierarchisches Klassenmodell umfassen, bei welcher Klassen jeweils eine oder mehrere Unterklassen aufweisen können. So kann die Klasse „telefoniert" beispielsweise als Unterklassen „telefoniert mit Mobiltelefon am Ohr" und „telefoniert mit Freisprechanlage" umfassen. Alternativ zu dieser Art der Aktivitätserkennung können auch andere Ansätze zum Einsatz kommen, beispielsweise eine Ende-zu-Ende-Erkennung, bei welcher die Bilddaten der Kameras direkt in einen Klassifikator eingespeist werden und entsprechend Aktivitäten ohne Zwischenschritte wie die beschriebene Analyse der Körperpose erkannt werden.
Ausgehend von den bekannten Systemen zum Erkennen einer Aktivität eines Nutzers und Anpassen einer Funktion des Verkehrsmittels an eine erkannte Aktivität stellt sich somit die Aufgabe, Komfort und Sicherheit des Verkehrsmittels zu verbessern.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Ansprüchen, der Beschreibung und der Figur.
Ein Aspekt betrifft ein Verfahren zum Betreiben eines Assistenzsystems in einem Verkehrsmittel, insbesondere eines Fahrerassistenzsystems in einem Verkehrsmittel. Das Verkehrsmittel kann ein luftgestütztes Verkehrsmittel wie beispielsweise ein Drohnentaxi oder eine Gondel sein und/oder ein wassergestütztes Verkehrsmittel wie beispielsweise ein Schiff sein und/oder ein landgestütztes Verkehrsmittel wie beispielsweise ein Kraftwagen, d. h. Personenkraftwagen und/der Lastkraftwagen und/oder Bus sein. Ein Verfahrensschritt ist dabei ein kamerabasiertes Erkennen einer Aktivität eines Nutzers des Verkehrsmittels, insbesondere eines die Führungsverantwortung des Verkehrsmittels zumindest zeitweise tragenden Nutzers, in einer Fahrgastzelle des Verkehrsmittels. Diese erfolgt anhand von Bilddaten einer Kameraeinheit durch eine Recheneinheit. Mit der Aktivität können zumindest implizit auch Ablenkungen der Insassen des Verkehrsmittels vom Verkehr und/oder einer anderen Aktivität erkannt werden. Die Recheneinheit kann dabei einen zentralen Rechner und/oder mehrere verteilte Rechner, beispielsweise in Form von jeweiligen Steuereinheiten („Controller"), umfassen. Die Kameraeinheit kann eine oder mehrere Kameras umfassen.
Ein weiterer Verfahrensschritt ist ein Schätzen einer zeitlichen Dauer für die erkannte Aktivität, d. h. ein Schätzen der Länge des Zeitraums, in welchem der Nutzer der erkannten Aktivität entsprechend einer jeweiligen Vorhersage nachgeht, durch die Recheneinheit. Dies kann beispielsweise empirisch anhand von für den Nutzer spezifisch in der Vergangenheit erkannten Aktivitäten erfolgen und/oder entsprechend einer hinterlegten Vorgabe. Das Schätzen der zeitlichen Dauer kann auch basierend auf einer an die Recheneinheit bereitgestellten Zusatzinformation erfolgen, beispielsweise wird in vielen im Internet bereitgestellten Artikeln als Zusatzinformation eine zu erwartende Lesedauer angegeben. Das Schätzen kann somit als ein Berechnen unter gewissen Annahmen verstanden werden. Alternativ oder ergänzend zur zeitlichen Dauer kann auch eine der Aktivität zugeordnete mentale Beanspruchung, welche auch im Sinne einer „kognitiven Involviertheit" verstanden werden kann, geschätzt werden und/oder eine Rückfallzeit, also eine Zeit, welche ein Mensch benötigt, um aus der erkannten Aktivität heraus eine andere Aktivität zu übernehmen. Die andere Aktivität ist oder umfasst dabei insbesondere ein Übernehmen einer Führungsverantwortung, sei es mit einem Steuereingriff oder ohne einen Steuereingriff in das Verkehrsmittel. Die Rückfallzeit kann also als die für eine Transition der erkannten Aktivität zu der anderen Aktivität nach einem Warnen durch das Verkehrsmittel benötigte Zeit verstanden werden. Mentale Beanspruchung und Rückfallzeit können dabei unabhängig voneinander geschätzt werden oder aber gemeinsam, also beispielsweise die Rückfallzeit basierend auf der mentalen Beanspruchung geschätzt werden. Für das Schätzen können dabei jeweilige Modelle und/oder empirische Daten genutzt werden.
Ein weiterer Verfahrensschritt ist ein Bereitstellen von Aktivitäten-Daten, welche die erkannte Aktivität und die für die erkannte Aktivität geschätzte und der Aktivität in den Aktivitäten-Daten zugeordnete zeitliche Dauer spezifizieren, an zumindest eine Funktionseinheit. Alternativ oder ergänzend können die Aktivitäten-Daten die der jeweiligen erkannten Aktivität zugeordnete geschätzte mentale Beanspruchung und/oder die der jeweiligen erkannten Aktivität zugeordnete Rückfallzeit spezifizieren. Dann erfolgt ein Durchführen einer jeweiligen Funktion durch die Funktionseinheit in Abhängigkeit von der in den Aktivitäten-Daten spezifizierten erkannten Aktivität und/oder der der erkannten Aktivität zugeordneten zugehörigen zeitlichen Dauer und/oder geschätzten mentalen Beanspruchung und/oder geschätzen Rückfallzeit.
Beispielsweise kann kamera basiert erkannt werden, dass der Nutzer liest. Wird für das Lesen, beispielsweise das Lesen eines Artikels, eines Buches oder von E- Mails eine längere zeitliche Dauer geschätzt, so kann beispielsweise eine Beleuchtungsfunktion einer Innenbeleuchtungseinheit als weitere Funktionseinheit angepasst werden, beispielsweise die Helligkeit erhöht werden. Wird hingegen für die Aktivität, hier das Lesen, eine kürzere zeitliche Dauer geschätzt, beispielsweise bei dem Lesen einer SMS, kann das Anpassen der Beleuchtung unterbleiben, um eine Adaption der Augen an das Lesen zu vermeiden und so unter Umständen die Sicherheit zu fördern. Das Durchführen der Funktion durch die Funktionseinheit in Abhängigkeit von der spezifizierten Aktivität und/oder der zugehörigen Dauer kann also ein Überprüfen der Länge der Dauer umfassen, wobei insbesondere die Funktion der weiteren Funktionseinheit dann angepasst, bevorzugt automatisch angepasst durchgeführt wird, wenn die geschätzte Dauer eine vorgegebene Grenzdauer übertrifft. Dieser kann beispielsweise zumindest 15 Sekunden betragen.
Das hat den Vorteil, dass sich Assistenzsysteme besser als bisher an die jeweilige Aktivität des Nutzers anpassen können und es entsprechend auch ermöglicht wird, proaktiv Funktionen anzubieten oder den richtigen Zeitpunkt für proaktive Meldungen, insbesondere Handlungsaufforderungen für den Nutzer auszuwählen. Insbesondere eine mögliche Übergabe einer Fahrverantwortung von einem (teil-)automatisierten Verkehrsmittel zurück zum Fahrer kann so optimiert werden, wie im Weiteren noch genauer erläutert wird. Auch die Wirkung von Sicherheitsmaßnahmen kann so verbessert werden, indem beispielsweise eine für eine bestimmte Aktivität typische Körperpose berücksichtigt wird. Die erkannte Aktivität kann entsprechend für viele Anwendungsfälle als Grundlage dienen. Möchte der Nutzer beispielsweise ein Buch lesen, kann dies erkannt und automatisch ein Leselicht angeschaltet werden oder beim Dimmen der Innenraumbeleuchtung Rücksicht auf seine Leseabsicht genommen werden. Telefoniert der Nutzer, an welchen die Fahrverantwortung übergeben werden soll, muss die Navigationseinheit rechtzeitig warnen oder warten, bis das Telefonat zu Ende ist. Wird für den Nutzer auf dem Fahrer und/oder Beifahrersitz eine besondere Aktivität erkannt, welche hohe Konzentration erfordert, kann es beispielsweise als besser vorgegeben sein, dass von einem vollautomatisierten Verkehrsmittel keine fahrdynamisch intensive Route gewählt wird, welche die Nutzer irritieren oder ablenken kann, oder gar Übelkeit („mo- tion sickness") auslösen könnte. Über das Schätzen der zeitlichen Dauer für erkannte Aktivitäten können somit automatisch Einstellungen vorgenommen werden, welche bisher manuell durch den Fahrer oder einen anderen Nutzer vorgenommen werden. Entsprechend werden manuelle Eingriffe in Funktionen des Verkehrsmittels reduziert. Dies trägt nicht nur zu einem gesteigerten Komfort bei, sondern kann auch für die Sicherheit entscheidend erhöhen, da sich durch das Assistenzsystem bei den entsprechenden Einstellungen mehr Informationen berücksichtigen lassen und sich insbesondere beispielsweise bei der Routenplanung ein weiterer zeitlicher Horizont überblicken lässt, als dies einen menschlichen Nutzer möglich ist.
Dem hier beschriebenen Ansatz liegt somit ein Paradigmenwechsel zugrunde: So setzen bisher verfügbare Assistenzsysteme im Innenraum von Verkehrsmitteln oder zum (teil-)automatisierten Fahren voraus, dass sich der Fahrer bzw. die Insassen an die Assistenzsysteme anpassen bzw. diese so konfigurieren, dass sie ihren Bedürfnissen entsprechen. Mit Hilfe der hier vorgestellten Lösung, welche als „Aktivitätenmanager für adaptive Fahrzeugassistenzfunktionen" zusammengefasst werden kann, wird erreicht, dass sich die Systeme im Verkehrsmittel an die Insassen und die vorherrschende Innenraumsituation anpassen sowie vorausschauend planen können. Damit erhöhen sich Komfort und Sicherheit für die Insassen. Die verbessert vorausschauende und damit intuitiver nachvollziehbare „Verhaltensweise" der Systeme erhöht auch die Akzeptanz der Gesellschaft für die zunehmende Technisierung und Automatisierung der Fahrzeuge.
In einer weiteren Ausführungsform erfolgt ein Speichern der erkannten Aktivität mit der geschätzten und/oder einer auf sonstige Weise erfassten zugeordneten zeitlichen Dauer und/oder einer Spezifikation der erkannten Aktivität zugeordneten mentalen Beanspruchung und/oder der der erkannten Aktivität zugeordneten Rückfallzeit in einer Aktivitäten-Datenbank, durch eine Speichereinheit. Die Aktivitäten-Datenbank kann auch weitere Informationen, beispielsweise für die Aktivitäten typische Anfangszeiten oder Orte enthalten. Dies kann beispielsweise unter Nutzung einer sog. künstlichen Intelligenz (Kl) erfolgen, d. h. eines angelernten oder lernenden Algorithmus', welcher wiederkehrende Muster, insbesondere Charakteristika wie eine typische zeitliche Dauer von wiederkehrenden Muster von erkannten Aktivitäten erkennt. Insbesondere kann die Kl ein neuronales Netz umfassen oder ein solches neuronales Netz sein. Dabei erfolgt das Schätzen der zeitlichen Dauer basierend auf gleichen und/oder entsprechend einem vorgegebenen Ähnlichkeitskriterium ähnlichen Aktivitäten und der zeitlichen Dauer, welche für die gleiche bzw. ähnliche Aktivität gespeichert ist. Gerade bei Nutzung einer Kl, vor allem bei einer Kl mit neuronalem Netz, kann das Ähnlichkeitskriterium implizit mit der Struktur des erlernten Algorithmus, insbesondere mit den neuronalen Verknüpfungen des neuronalen Netzes, vorgegeben sein.
Die Aktivitäten-Datenbank kann auch Abfolgen unterschiedlicher Aktivitäten, welche mit einer entsprechenden Wahrscheinlichkeit zu erwarten sind, enthalten. Dies kann auch nutzerspezifisch erfolgen. Entsprechend wird das Schätzen der zeitlichen Dauer verbessert, insbesondere nutzerspezifisch verbessert und auch eine weitere Planung, beispielsweise in Form von To-Do-Listen mit einer Reihe von Aktivitäten und mit den Dauern der unterschiedlicher Aktivitäten im Verkehrsmittel für die jeweiligen Nutzer ermöglicht. Der Aktivitätenmanager kann somit in die Lage versetzt werden, nicht nur für die Nutzer, d. h. Insassen des Verkehrsmittels zu erkennen, welcher Aktivität sie nachgehen und wie lange sie dieser Aktivität nachgehen werden, sondern welcher Aktivität sie anschließend höchstwahrscheinlich nachgehen werden und wie lange die nachfolgenden Aktivitäten jeweils in etwa, d. h. geschätzt dauern werden. Der Aktivitätenmanager kann entsprechend ein Nutzerverhalten Vorhersagen („Verhaltensprädiktion"), d.h. die Aktivitätenerkennung zu einer Intentionserkennung erweitern.
In einer weiteren Ausführungsform ist vorgesehen, dass eine der zumindest einen Funktionseinheit eine Navigationseinheit ist. Das Durchführen der Funktion der Navigationseinheit umfasst dabei ein zumindest teilautonomes Steuern, also ein teilautonomes oder vollautonomes Steuern, einer Fahrfunktion des Verkehrsmittels gemäß einer vorgegebenen Route, insbesondere eine Längs- führung wie beispielsweise eine Geschwindigkeitsvorgabe. Das zumindest teilautonome Steuern der Fahrfunktion kann hier insbesondere in Form des Steuerns einer Fahrfunktion entsprechend der SAE-Level 1-5 gemäß J3016 vom 16. Januar 2014, aktualisiert zum 30. April 2021, erfolgen oder ein solches Steuern einer Fahrfunktion entsprechend jeweiliger SAE-Level umfassen, entsprechend umfasst ein teilautonomes Fahren auch sogenanntes assistiertes Fahren im Sinne der SAE-Level. Insbesondere kann dabei die Fahrfunktion des Verkehrsmittels in Abhängigkeit der erkannten Aktivität und/oder der zugehörigen zeitlichen Dauer und/oder der zugehörigen mentalen Beanspruchung und/oder der Rückfallzeit der bereitgestellten Aktivitäten-Daten (ausgehend von einer zuvor, also beispielsweise vor dem erkennen der Aktivität und/oder vor dem Schätzen der Dauer/mentalen Beanspruchung/Rückfallzeit der Aktivität, bestehenden Vorgabe) derart angepasst werden, dass es dem Nutzer entsprechend einer hinterlegten gesetzlichen oder sonstigen, beispielsweise physiologisch bedingten Vorgabe für das teilautonome Steuern erlaubt ist, die erkannte Aktivität zu vollenden. Darunter kann hier verstanden werden, dass die Funktionseinheit, vorliegend die Navigationseinheit, die in ihrem Einflussbereich liegenden Randbedingungen, welche die Aktivität des Nutzers erlauben, d.h. Voraussetzung für die Aktivität des Nutzers sind, (innerhalb vorgegebener Grenzen) aufrechterhält. Der Nutzer wird also durch das Durchführen der Funktion, insbesondere dem zumindest teilautonomen Steuern, bei dem Folgen der vorgegebenen Route nicht zum Unterbrechen seiner Aktivität gemäß der hinterlegten Vorgabe aufgefordert oder gezwungen.
Beispielsweise kann so bei einem autonomen Steuern des Verkehrsmittels, beispielsweise auf einer Autobahn, die Fahrfunktion des Verkehrsmittels über eine Geschwindigkeitsanpassung derart an die erkannte Aktivität, beispielsweise ein Lesen eines Artikels oder ein Bearbeiten von E-Mails auf einer vorgegebenen Route, derart angepasst, d. h. vorliegend reduziert werden, dass die erkannte Aktivität voraussichtlich, d.h. gemäß dergeschätzten Dauer, bei Erreichen eines Endes der Autobahn, d. h. am Ende eines Routenabschnittes der Route, welcher auf der Autobahn verläuft, abgeschlossen ist. Am Ende der Autobahn könnte entsprechend der dortigen Bedingungen (Stadtverkehr) und der Eigenschaften der Navigationseinheit (zertifiziert für Autonomes Fahren nach SAE- Level 3) beispielsweise gesetzlich vorgeschrieben sein, dass der Nutzer die Fahrverantwortung wieder übernimmt. Auch wenn dies nicht der Fall ist, und die Navigationseinheit auch für einen nachfolgenden Routenabschnitt, welcher beispielsweise nicht auf einer Autobahn sondern einer kurvenreichen Landstraße verläuft, zum autonomen Steuern der Fahrfunktion des Verkehrsmittels autorisiert zertifiziert ist, kann mit der Verlangsamung auf der Autobahn und dem resultierenden Vollenden der Aktivität, beispielsweise aufgrund einer sonstigen Vorgabe wie einer physiologischen Vorgabe oder einfach einer hinterlegten Vorliebe des Nutzers beispielsweise ein Aufkommen von Übelkeit vermieden werden wie es beim Lesen auf kurvenreichen Straßen häufig vorkommt. Es werden somit Komfort und Sicherheit weiter verbessert.
In einer weiteren Ausführungsform ist vorgesehen, dass das Durchführen der Funktion ein Vorgeben der Route für das zumindest teilautonome Steuern der Fahrfunktion des Verkehrsmittels umfasst. Das Vorgeben der Route umfasst dabei auch ein Vorgeben einer bereits zuvor vorgegebenen Route, d. h., ein Anpassen einer zuvor vorgegebenen Route, einer ursprünglichen Route. Das Vorgeben kann entsprechend vollautomatisch oder teilautomatisch erfolgen, beispielsweise auch nach Freigabe einer ursprünglichen Route durch den Nutzer als dann vorgegebene Route. Dies ist auch von bekannten Routenführungen bekannt, bei welchen einem Nutzer unterschiedliche Routenalternativen vorgeschlagen werden, aus welchen der Nutzer eine auswählen kann oder aber automatisch, beispielsweise nach Verstreichen einer vorgegebenen Zeit, eine der Routen ausgewählt wird. Auch in bekannten Systemen können ursprüngliche Routen erneut vorgegeben, d.h. angepasst werden beispielsweise an veränderte Verkehrsbedingungen.
Die Route wird dabei in Abhängigkeit der erkannten Aktivität und/oder der zugehörigen zeitlichen Dauer und/oder der zugehörigen mentalen Beanspruchung und/oder der Rückfallzeit der bereitgestellten Aktivitäten-Daten derart vorgegeben, insbesondere angepasst, dass es dem Nutzer entsprechend der hinterlegten gesetzlichen oder sonstigen Vorgabe für das teilautonome Steuern erlaubt ist, die erkannte Aktivität zu vollenden. Die Route kann auch an veränderte Aktivitäten angepasst werden, beispielsweise falls ein Nutzer doch nicht die unten noch beschriebene geplante oder vom Aktivitätenmanager erwartete Aktivität ergreift, sondern eine andere. Beispielsweise kann so, wenn als Aktivität ein E-Mail-Bearbeiten des Nutzers erkannt wird, welches gemäß der Schätzung eine längere Dauer in Anspruch nimmt, eine staubedingt langsamere Route über eine Autobahn gewählt werden und nicht eine schnellere Route durch eine Ortschaft, in welcher aber aufgrund der erhöhten Anforderungen an das Steuern des Fahrzeugs kein vollautonomes Steuern und somit kein E-Mail- Bearbeiten möglich ist. In diesem Sinne kann auch eine bestehende oder eingeschlagene ursprüngliche Route neu vorgegeben, d.h. angepasst werden wenn unerwartet, d.h. entgegen einer Voraussage oder Planung, eine Aktivität wie das E-Mail-Bearbeiten erkannt wird. Auch hier werden somit Komfort und Sicherheit im Fahrzeug verbessert.
In einer weiteren Ausführungsform erfolgt ein Erfassen von mindestens einer seitens des Nutzers geplanten, insbesondere für die Zeit der Nutzung des Verkehrsmittels (die Reise) geplanten Aktivität mit einem Schätzen der jeweils zugehörigen zeitlichen Dauer und/oder der zugehörigen mentalen Beanspruchung und/oder der Rückfallzeit für die geplante, d. h. erwartete zukünftige Aktivität. Das Erfassen erfolgt dabei über eine Erfassungseinheit, insbesondere unter Verwendung der Aktivitäten-Datenbank. Die Erfassungseinheit kann eine Eingabeeinheit für eine Eingabe des Nutzers und/oder eine Schnittstelleneinheit, um beispielsweise auf Terminkalender, Mailprogramm oder ähnliche Informationsquellen des Nutzers zuzugreifen, umfassen oder mit den entsprechenden Einheiten gekoppelt sein. Bevorzugt erfasst die Erfassungseinheit die eine oder mehreren geplanten Aktivitäten von einer Vorhersageeinheit, welche zum Vorhersagen der zumindest einen seitens des Nutzers geplanten Aktivität ausgebildet ist. Beispielsweise kann die Vorhersageeinheit einen Kl-basierten Algorithmus nutzen, welcher zum Beispiel basierend auf der Aktivitäten-Datenbank eine Vorhersage für die Reise, insbesondere jeweils für eine spezifische Route und/oder den spezifischen Zeitraum, zu erwartende Aktivität des Nutzers trifft. Der Nutzer kann insbesondere auch über die Eingabeeinheit oder die Schnittstelleneinheit eine entsprechende To-Do-Liste von geplanten Aktivitäten an die Erfassungseinheit bereitstellen.
Das Vorgeben der Route erfolgt dabei in Abhängigkeit der vom Nutzer geplanten Aktivität und/oder der jeweiligen zugehörigen zeitlichen Dauer und/oder der zugehörigen mentalen Beanspruchung und/oder der Rückfallzeit. Beispielsweise lässt sich so das oben eingeführte Szenario weiterführen: So kann ein Nutzer als Aktivität ein E-Mail-Bearbeiten auf dem Weg zur Arbeit planen. Dies kann durch die Erfassungseinheit erfasst werden, indem der Nutzer dieses explizit, beispielsweise über eine To-Do-Liste eingibt, oder aber über die Vorhersageeinheit, welcher beispielsweise bekannt ist, dass der Nutzer werktags auf dem Weg zur Arbeit üblicherweise E-Mails bearbeitet. Entsprechend kann von vornherein eine Route vorgegeben werden, welche über die Autobahn führt und entsprechend ein vollautomatisches Steuern ermöglicht, beispielsweise obwohl dies aufgrund von Stau langsamer ist, als eine Alternativroute durch eine geschlossene Ortschaft. In diesem Szenario wird die Route über die Autobahn jedoch bevorzugt ausgewählt und dem Nutzer vorgeschlagen, wenn nicht sogar automatisch für die Routenführung freigegeben, um dem Nutzer das Nachgehen und Vollenden der geplanten gewohnten Aktivität zu erlauben. Auch hier erhöht sich der Komfort und auch die Sicherheit im Verkehrsmittel.
In einer weiteren Ausführungsform umfasst das Vorgeben der Route ein Identifizieren zumindest eines Routenabschnittes mit gleichbleibenden oder im Wesentlichen gleichbleibenden Anforderungen an den Nutzer, d.h. gleichen oder im Wesentlichen gleichbleibenden Randbedingungen für die Aktivität, so wie einer dem jeweiligen Routenabschnitt zugeordneten vorläufigen Reisedauer, ein Vergleichen der zumindest einen der oder den geplanten Aktivitäten zugeordneten zeitlichen Dauer mit der zumindest einen vorläufigen Reisedauer, ein Zuordnen der einen oder mehreren geplanten Aktivitäten zu einem und mehreren jeweiligen Routenabschnitten anhand eines Vergleichsergebnisses für die zeitliche Dauer und die Reisedauer (welche die vorläufige Reisedauer oder wie noch erläutert eine angepasste Reisedauer sein kann), sowie ein Anzeigen der vorgegebenen Route mit dem zumindest einen Routenabschnitt in Abhängigkeit der zumindest einen zugeordneten Aktivität, insbesondere mit einem jeweils für die zugeordnete Aktivität spezifischen Kennzeichnen des zumindest einen Routenabschnitts. Insbesondere kann ein Auswählen der vorgegebenen Route für das zumindest teilautonome Steuern automatisch, beispielsweise mittels einer Zeitautomatik wie für beispielsweise die schnellste Route bekannt, oder manuell durch den Nutzer erfolgen. Die gleichbleibenden oder im Wesentlichen gleichbleibenden, d. h. bis auf eine vorgegebene Abweichung gleichbleibenden Anforderungen können wie oben beschrieben insbesondere einer hinterlegten gesetzlichen und/oder physiologischen Vorgabe entsprechen, und sich dabei bevorzugt auf eine zumindest seitens des für das Führen des Verkehrsmittels verantwortlichen Nutzers beziehen. Alternativ oder ergänzend können die Anforderungen eine (insbesondere nutzerspezifisch) vorgegebene maximal zulässige Quer- und/oder Längsbeschleunigung umfassen. Eine auf dem jeweiligen Routenabschnitt zu erwartende Quer- und/oder Längsbeschleunigung kann beispielsweise aus einem bekannten Straßenverlauf mit jeweils angesetzten Reisegeschwindigkeiten berechnet werden. In dem Beispielszenario von oben könnte sich der Nutzer entsprechend auf eine Geschäftsreise begeben, d. h. morgens nicht den üblichen Weg zur Arbeit einschlagen wollen, sondern stattdessen zu einem anderen Ziel, beispielsweise einem Kunden fahren wollen. Nichtsdestotrotz könnte der Nutzer dennoch planen, seine E-Mails auf dem Weg zu bearbeiten. Eine beispielsweise von einer konventionellen Routenplanung bereitgestellte Route zum Kunden kann entsprechend als ursprüngliche Route vorgegeben und dann in Abhängigkeit der geplanten Aktivität(en), hier dem geplanten oder erwarteten E-Mail-Bearbei- ten, angepasst werden. Möglicherweise hat der neue Weg in einem ersten Routenabschnitt viele Ablenkungen, da nicht wie gewohnt auf die nahegelegene Autobahn gefahren wird, sondern erst eine längere Anfahrt zu einer anderen Autobahn erforderlich ist. Entsprechend wird dann nach dem Identifizieren der jeweiligen Routenabschnitte, hier dann eines ersten Routenabschnittes mit vielen Ablenkungen und einem späteren Routenabschnitt mit weniger Ablenkungen aufgrund beispielsweise einer längeren Autobahnnutzung ein Vergleichen der geschätzten Dauer des E-Mail-Bearbeitens mit den jeweiligen Fahrtdauern auf den entsprechenden Routenabschnitten und entsprechenden Anforderungen an den Nutzer abgeglichen. So kann beispielsweise ausgeschlossen sein, dass ein Nutzer während des Fahrens durch eine Ortschaft oder auf einer Landstraße seine E-Mails bearbeiten kann, da beispielsweise die Navigationseinheit dort nicht für SAE-Level 3 konformes Fahren zertifiziert ist. Entsprechend wird dann das Mailbearbeiten dem späteren Routenabschnitt zugeordnet und die entsprechende Route mit dem späteren Mailbearbeiten an den Nutzer angezeigt. Dieser kann folglich erkennen, wo bzw. wann auf der geplanten Route er seine Mails bearbeiten kann. So werden Sicherheit und Komfort im Verkehrsmittel weiter verbessert.
In einer weiteren Ausführungsform kann bei dem Zuordnen der einen oder mehreren geplanten Aktivitäten zu einem oder mehreren jeweiligen Routenabschnitten eine hinterlegte Dringlichkeit der jeweiligen Aktivität, d. h. eine explizite oder implizite Terminanforderung, welche mit der jeweiligen Aktivität verknüpft ist, beispielsweise in der Aktivitäten-Datenbank, berücksichtigt werden. Insbesondere kann dies erfolgen, indem dringlichere Aktivitäten Routenabschnitten zugeordnet werden, welche innerhalb der von der Navigationseinheit vorgegebenen Route vor Routenabschnitten angeordnet sind, welche weniger dringlichen Aktivitäten zugeordnet werden. In dem obigen Beispielszenario kann beispielsweise der Nutzer ein geschäftliches Telefonat mit hoher Dringlichkeit an dem Reisetag planen. Dieses wird dann beispielsweise einem Routenabschnitt zugeordnet, welcher ohne das Telefonat dem E-Mail-Bearbeiten zugeordnet würde. Ein privates Telefonat ohne Dringlichkeit wird jedoch einem Routenabschnitt nach dem E-Mail-Bearbeiten zugeordnet, wenn das E-Mail-Be- arbeiten mit erhöhter (aber nicht hoher) Dringlichkeit hinterlegt ist. Auch dies trägt zu verbesserter Zeitnutzung und klarerer Fokussierung und damit zu verbessertem Komfort und erhöhter Sicherheit im Verkehrsmittel bei.
In einer weiteren Ausführungsform kann bei dem Zuordnen der einen oder mehreren geplanten Aktivitäten zu einem oder mehreren jeweiligen Routenabschnitten die vorläufige Reisedauer eines oder mehrerer Routenabschnitte an die jeweilige Dauer einer oder mehrerer Aktivitäten angepasst werden, falls das Anpassen der vorläufigen Reisedauer zu einem im Sinne eines vorgegebenen Optimalitätskriteriums verbesserten Ergebnis des Zuordnens führt. Dies kann insbesondere über ein Anpassen einer Geschwindigkeit auf dem entsprechenden Routenabschnitt erfolgen. Beispielsweise kann, falls ein Routenabschnitt, welcher sich für eine geplante Aktivität bis auf eine Abweichung in der zeitlichen Dauer, welche einen vorgegebenen Grenzwert nicht überschreitet, eignet, über ein Verringern der Geschwindigkeit passend gemacht, d.h. an die Aktivität angepasst werden. Im Gegenzug kann dann beispielsweise bevorzugt eine Geschwindigkeit auf einem anderen Routenabschnitt angehoben werden, so dass die Gesamtreisezeit unverändert bleiben kann. Jedoch auch bei einem Erhöhen der Gesamtreisedauer kann das Ergebnis im Sinne des vorgegebenen Optimalitätskriteriums verbessert sein, da die geplante Aktivität immer noch im Verkehrsmittel ausgeführt und beendet wird, so dass die insgesamt für Reise zuzüglich Aktivität aufgewendete Zeit geringer ist als wenn die Aktivität im Anschluss an die Reise durchgeführt würde. Für das Anpassen der vorläufigen Reisedauer kann beispielsweise auch vorgegeben sein, dass dies nur für Aktivitäten einer vorgegebenen Dringlichkeit durchgeführt wird, was besonders vorteilhaft ist.
In dem bereits mehrfach bemühten Beispielsszenario kann beispielsweise auf der Fahrt zum Arbeitsplatz erfahrungsgemäß, beispielsweise staubedingt, genug Zeit sein, um die E-Mails auf dem Routenabschnitt mit der Autobahn zu bearbeiten. Verkürzt sich nun beispielsweise die Reisedauer auf der Autobahn dadurch, dass z. B. ausnahmsweise kein Stau ist, so könnte die Aktivität, hier das Bearbeiten der E-Mails, einem anderen Routenabschnitt zugeordnet werden. Ist dies nun nicht möglich oder beispielsweise aufgrund anderer für die Route geplanten Aktivitäten nicht optimal, so kann entsprechend die vorläufige Reisedauer angepasst werden, indem beispielsweise das Verkehrsmittel seine Geschwindigkeit auf dem Routenabschnitt mit der Autobahn reduziert und so ausreichend Zeit für das E-Mail-Bearbeiten während der Fahrt über die Autobahn geschaffen wird. Die gesamte Reisedauer wird dann zwar erhöht, das Ergebnis ist aber verbessert, da die für die Fahrt geplanten Aktivitäten abgeschlossen werden können. Insgesamt wird die Zeit so optimiert genutzt und faktisch Zeit gewonnen. Auch dies trägt zur erhöhten Entspannung und damit Komfort und Sicherheit im Verkehrsmittel bei.
In einer weiteren Ausführungsform ist vorgesehen, dass das Vorgeben der Route ein Vorgeben von zumindest zwei sich voneinander unterscheidenden Alternativrouten umfasst, wobei das Identifizieren, das Vergleichen, das Zuordnen und das Anzeigen jeweils für die unterschiedlichen Alternativrouten erfolgt. Insbesondere weisen die unterschiedlichen Alternativrouten dabei eine unterschiedliche zeitliche Reihung der geplanten Aktivitäten auf. Analog zu Alternativrouten in bekannten Systemen, bei welchen beispielsweise zwischen unterschiedlich lange dauernden Routen gewählt werden kann, kann der Nutzer entscheiden, ob er beispielsweise die schnellere Route mit der Mailbearbeitung am Anfang oder die langsamere Route, in welcher zunächst das geschäftliche Telefonat eingeplant ist, wünscht. Die Auswahl kann dabei auch automatisch getroffen werden, beispielsweise anhand der erkannten Aktivität, so dass die Route zu der erkannten Aktivität passt: Fängt der Nutzer also an, E-Mails zu bearbeiten, so wird in diesem Beispiel automatisch die schnellere Alternativroute gewählt, fängt er an zu telefonieren, wird automatisch die langsamere Alternativroute gewählt. Auch dies führt zu einer intuitiver agierenden Assistenzfunktion, und erhöht somit Komfort und Sicherheit im Verkehrsmittel.
In einer weiteren Ausführungsform ist vorgesehen, dass das Bereitstellen der Aktivitäten-Daten an mehrere voneinander unabhängig funktionierende Funktionseinheiten erfolgt. Es wird somit ein zentrales Aktivitäten-Management bzw. ein zentraler Aktivitäten-Manager implementiert, durch welchen unab- hängig voneinander funktionierende Funktionseinheiten kohärent auf das Verhalten des oder der Nutzer reagieren. Die Aktivitäten-Daten können dabei auf verschiedene Weisen gesendet und verteilt werden, z.B. über einen MultiBroadcast an das gesamte Verkehrsmittel, d.h. viele oder alle Funktionseinheiten des Verkehrsmittels, oder aber über ein Publish/Subscribe-Verfahren an ausgewählte einzelne Funktionseinheiten. Als Infrastruktur kann sowohl der CAN-Bus als auch Äquivalente oder Alternativen wie z. B. Ethernet verwendet werden. Entsprechend können die jeweiligen Assistenzsysteme mit ihren Funktionseinheiten die Aktivitäten-Daten abgreifen und entsprechend darauf reagieren. Routenplaner können die Aktivitäten-Daten nutzen, um das Fahren an die Innenraumaktivitäten sowohl aus Komfort-Sicht (vgl. „Motion Sickness" u.Ä.) als auch aus Sicherheits-Sicht, insbesondere Level-konformes Verhalten der Insassen, anzupassen. Innenraumsicherheitssysteme können die Aktivitäten-Daten nutzen, um z. B. Airbags adaptiv auslösen zu können, Beleuchtungsassistenzsysteme um bei einer Veränderung der Beleuchtung Rücksicht auf die jeweiligen Aktivitäten der Insassen zu nehmen, sprachbasierte Assistenzsysteme um fortlaufende Gespräche der Insassen oder Telefonate der Insassen nicht zu unterbrechen und Dialoge vorausblickend zu planen, beispielsweise bei Ansagen oder Rückfragen der Navigationseinheit.
Entsprechend kann das Bereitstellen an eine Funktionseinheit für eine sprachbasierte Assistenzfunktion, welche auch die Navigationseinheit sein oder umfassen kann, erfolgen, und eine Sprachausgabefunktion als die oder eine der durchzuführenden bzw. durchgeführten Funktionen mit in Abhängigkeit von der in den Aktivitäten-Daten spezifizierten Aktivität und/oder der zugehörigen Dauer verzögert durchgeführt werden, um Gespräche oder Telefonate der Insassen nicht zu unterbrechen. Auch kann das Bereitstellen an zumindest eine Funktionseinheit für eine Sicherheitsfunktion, insbesondere für eine Innenraumsicherheitsfunktion wie eine Airbag-Auslösefunktion erfolgen und/oder zumindest eine Funktionseinheit für eine Komfortfunktion, insbesondere eine Innenraumbeleuchtungsfunktion wie eine Leselichtfunktion. Dies alles trägt zu erhöhtem Komfort und verbesserter Sicherheit im Verkehrsmittel bei.
Alternativ könnte der Aktivitäten-Manager bzw. das Aktivitäten-Management nicht zentral agieren, sondern in den unterschiedlichen Assistenzsystemen separat, d. h. unabhängig voneinander verbaut oder softwareseitig instanziiert sein und nur für die Funktionsweise der jeweiligen einzelnen Assistenzsysteme zweckdienlich agieren, das vorgeschlagene Verfahren also in unabhängigen Instanzen ausgeführt werden. Die Navigationseinheit wäre so ein in sich geschlossenes System. Das mit Hilfe der Kameras im Verkehrsmittel die Aktivitäten der Insassen erkennt und verarbeitet. Die weiteren Systeme, beispielsweise Funktionseinheiten für eine Airbag-Auslösefunktion, eine Leselicht-Funktion und eine sprachbasierte Assistenz-Funktion ebenso. Allen Systemen wäre jedoch gemein, dass die jeweiligen Aktivitäten mitsamt der zugeordneten Dauer erkannt bzw. geschätzt werden, um nicht nur ein Vorhandensein von Aktivitäten zu prüfen, sondern auch vorausschauend planen zu können.
Ein weiterer Aspekt betrifft ein Assistenzsystem, insbesondere ein Fahrer-Assistenzsystem, für ein Verkehrsmittel, insbesondere für ein Kraftfahrzeug. Das Assistenzsystem weist dabei eine Kameraeinheit mit einer oder mehreren KA- meras zum Erzeugen von Bilddaten einer Aktivität eines Nutzers des Verkehrsmittels in einer Fahrgastzelle des Verkehrsmittels auf, sowie eine Recheneinheit mit einem oder mehreren Rechnern zum Erkennen der Aktivität des Nutzers in der Fahrgastzelle anhand der erzeugten Bilddaten. Die Recheneinheit ist dabei ausgebildet zum Schätzen einer zeitlichen Dauer für die erkannte Aktivität und zum Bereitstellen von Aktivitäten-Daten, welche die erkannte Aktivität und die für die erkannte Aktivität geschätzte zeitliche Dauer spezifizieren, an zumindest eine Funktionseinheit. Die Funktionseinheit, die Teil des Assistenzsystems sein kann, aber nicht muss, ist entsprechend ausgebildet zum Durchführen zumindest einer Funktion in Abhängigkeit von der in den Aktivitäten- Daten spezifizierten Aktivität und/oder der zugehörigen Dauer.
Vorteile und vorteilhafte Ausführungsformen des Assistenzsystems entsprechen dabei Vorteilen und vorteilhaften Ausführungsformen des beschriebenen Verfahrens.
Die vorstehend in der Beschreibung, auch im einleitenden Teil, genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Dabei zeigt Fig. 1 eine beispielhafte Ausführungsform eines Assistenzsystems in einem Verkehrsmittel. Das Assistenzsystem 1 ist vorliegend in einem Kraftfahrzeug als Verkehrsmittel 2 installiert. Es umfasst eine Kameraeinheit 3 zum Erzeugen von Bilddaten einer Aktivität eines Nutzers 4 des Verkehrsmittels 2 in einer Fahrgastzelle 5 des Verkehrsmittels 2. Des Weiteren weist das Assistenzsystem 1 eine Recheneinheit 6 zum Erkennen der Aktivität des Nutzers in der Fahrgastzelle 5 anhand der erzeugten Bilddaten auf. Die Recheneinheit 6 ist dabei ausgebildet zum Schätzen einer zeitlichen Dauer für die erkannte Aktivität und zum Bereitstellen von Aktivitäten-Daten, welche die erkannte Aktivität und die für die erkannte Aktivität geschätzte zeitliche Dauer spezifizieren an zumindest eine Funktionseinheit 7. Die weitere Funktionseinheit 7 ist dabei ausgebildet zum Durchführen einer Funktion in Abhängigkeit von der in den Aktivitäten- Daten spezifizierten Aktivität und der zugehörigen Dauer. Vorliegend ist die Funktionseinheit 7 als Navigationseinheit ausgebildet, und mit einer Lenkeinheit 8 zum Lenken des Verkehrsmittels 2, einer Antriebseinheit 10 zum Antreiben des Verkehrsmittels 2, einer Bremseinheit 11 zum Bremsen des Verkehrsmittels 2 und einer interaktiven Anzeigeeinheit 9 zum Anzeigen einer Route und Empfangen einer Eingabe des Nutzers 2 gekoppelt. Die Recheneinheit 6 ist vorliegend zusätzlich mit einer Speichereinheit 12 gekoppelt, welche zum Speichern der erkannten Aktivität mit der geschätzten und/oder einer erfassten zugeordneten zeitlichen Dauer in einer Aktivitäten-Datenbank ausgebildet ist. Entsprechend erfolgt vorliegend das Schätzen der zeitlichen Dauer, basierend auf gleichen und/oder entsprechend einem vorgegebenen Ähnlichkeitskrite- rium ähnlichen Aktivitäten und der zeitlichen Dauer, welche für die gleiche bzw. ähnliche Aktivität in der Speichereinheit 12 abgespeichert ist. Das Beurteilen der Ähnlichkeit kann dabei beispielsweise Kl-basiert erfolgen, d.h. basierend auf einem angelernten oder trainierten Algorithmus.
Das Assistenzsystem dient somit als ein Aktivitäten-Manager, welcher in der Lage ist, für den oder die Nutzer 4, d. h. Insassen des Verkehrsmittels 2 zu erkennen, welcher Aktivität sie nachgehen, und bevorzugt auch, welche anschließende Aktivität sie hiernach aller Wahrscheinlichkeit nachgehen werden und wie lang die jeweiligen Aktivitäten in etwa dauern werden. Optional kann der Aktivitäten-Manager entsprechend auch verwendet werden, um eine To-Do- Liste des Nutzers 2, insbesondere eines Fahrers, auf die am besten passenden Strecken- oder Routenabschnitte zu legen. Dies ist gerade für Fahrer von Lastkraftwagen und andere Fahrer, welche durch einen Disponenten betreut werden, relevant. Bei der Planung und Zuordnung der Aktivitäten zu den jeweiligen Routenabschnitten kann das auf dem jeweiligen Routenabschnitt mögliche Level der Automatisierung, d. h. der entsprechend dem Verkehrsmittel 2 oder der Navigationseinheit möglichen SAE-Level, berücksichtigt werden, ebenso wie beispielsweise eine Oberflächenbeschaffenheit der Fahrbahn und/oder fahrdynamische Ansprüche der Streckenführung, beispielsweise eine Häufigkeit und/oder enge der Kurven. Grundsätzlich ermöglicht das gezeigte Assistenzsystem 1 somit das Einplanen einer To-Do-Liste in die Routenplanung zur Erledigung der auf der To-Do-Liste aufgeführten Aktivitäten während der Fahrt bzw. Reise. Dies kann beispielsweise auf einer Streckenplanung der Navigationseinheit angezeigt werden, beispielsweise ähnlich wie bisher Stauabschnitte angezeigt werden.
Der Aktivitäten-Manager kann entsprechend Schnittstellen zu allen gängigen Fahrzeugsystemen, also CAN-Bus, Ethernet und dergleichen, bieten, um als zentrales Element die Aktivitäten des oder der Nutzer 4 zu erfassen und allen angeschlossenen weiteren Systemen mit ihren entsprechenden Funktionseinheiten zur Verfügung stellen zu können. So wird es entsprechend ermöglicht, dass ein (teil-)automatisiertes Fahrzeug die Fahrroute an den aktuellen Zustand der Nutzer anpassen und vorausschauend planen kann, beispielweise um eine Übelkeit („motion sickness") zu vermeiden. So kann die Navigationseinheit Routenabschnitte mit den Aktivitäten der Nutzer 4 im Innenraum 5 synchronisieren und die Route gegebenenfalls anpassen. Darüber hinaus kann die Navi- gationseinheit Streckenabschnitte mit Vorgaben zu SAE-Level-konformem Verhalten abgleichen und prüfen, ob alle Nutzer, vor allem der Fahrer, diese Vorgaben einhalten. Beispielsweise kann es geplant sein, dass das (teil-)automati- sierte Fahrzeug 2 die Fahrverantwortung auf einem bestimmten Routenabschnitt übernehmen soll. Der Routenabschnitt verlangt aber ein gewisses Verhalten des Nutzers 2, damit dieser sich dem Automatisierungslevel entsprechend verhält und die Übergabe der Fahrverantwortung an das Kraftfahrzeug 2 erlaubt ist. Verhält sich der Nutzer 4 nicht entsprechend, kann die Navigationseinheit bzw. deren Steuerfunktion eingreifen, die Nutzer rechtzeitig warnen cider eine andere Route wählen.
Das Ziel ist es hier, eine Übereinstimmung oder Passung („match") zwischen den Aktivitäten des Nutzers 4 und den Anforderungen seitens Kraftfahrzeug 2 und Route herzustellen. Das Erkennen der Aktivität und der Abgleich mit Level- konformem Verhalten kann auch zu Sicherheitszwecken in beispielsweise automatisierten Taxen, Uber-Diensten, im automatisierten Fernverkehr oder ähnlichem eingesetzt werden. Aufgrund der Speichereinheit 12 kann der Aktivitä- ten-Manager die erkannten Aktivitäten auch abspeichern und bei Bedarf eine Liste vergangener Aktivitäten pro Nutzer 4 zur Verfügung stellen. Das kann z. B. für eine Sprachassistenz-Funktion günstig sein, welche beispielsweise beim Annähern eines Rasthofs proaktiv den Nutzer 4 ansprechen und ihm vorschlagen könnte, nach einer Fahrt einer vorgegebenen Mindestlänge eine Rast einzulegen. Ist allerdings in letzter Zeit, d.h. innerhalb eines vorgegebenen Zeitraums, detektiert worden, dass der Fahrer geschlafen und/oder gegessen hat, dann würde ein solcher Vorschlag nur irritieren, weshalb dies mit einer entsprechenden Vorgabe für die Sprachassistenz-Funktion ausgeschlossen werden kann. Auch lässt sich so ein Überblick erstellen, bei welchem jeweils erkannte Aktivitäten anteilig an einer Gesamtzeit wie der Reisedauer angegeben werden können. Beispielsweise kann also aus den Aktivitäten-Daten ersichtlich sein, dass 20 % der Fahrzeit der Nutzer 4 mit einem Beifahrer beschäftigt war oder in 10 % der Fahrzeit er mit einem Infotainment interagiert hat.
Grundlage des hier gezeigten Ansatzes ist somit die automatisierte Erkennung der Aktivitäten der Nutzer, bevorzugt aller Nutzer eines Verkehrsmittels sowie eine Anlage von korrelierten Dauern der jeweiligen Aktivitäten zur Planung im jeweiligen Bedarfsfall des Assistenzsystems und ggf. einer zusätzlichen notwendigen Vorhersage der Anschlussaktivität oder mehrerer wahrscheinlicher Anschlussaktivitäten. Die Erkennung der Aktivitäten wird dabei bevorzugt zentral für alle Nutzer 4 durchgeführt, idealerweise in einer entsprechenden Aktivitä- ten-Datenbank vorgehalten und über entsprechende Schnittstellen an die
Funktionseinheiten verschiedener Innenraum-Assistenzsysteme kommuniziert. Dies führt zu verbessertem Komfort und Sicherheit in dem Verkehrsmittel.

Claims

Ansprüche
1. Verfahren zum Betreiben eines Assistenzsystems (1) in einem Verkehrsmittel (2), insbesondere in einem Kraftfahrzeug, mit den Verfahrensschritten:
- kamerabasiertes Erkennen einer Aktivität eines Nutzers (4) des Verkehrsmittels (2) in einer Fahrgastzelle (5) des Verkehrsmittels (2) anhand von Bilddaten einer Kameraeinheit (3), durch eine Recheneinheit (6);
- Schätzen einer zeitlichen Dauer für die erkannte Aktivität durch die Recheneinheit (6);
- Bereitstellen von Aktivitäten-Daten, welche die erkannte Aktivität und die für die erkannte Aktivität geschätzte zeitliche Dauer spezifizieren, an zumindest eine Funktionseinheit (7);
- Durchführen zumindest einer Funktion durch die Funktionseinheit (7) in Abhängigkeit von der in den Aktivitäten-Daten zu einer spezifizierten Aktivität zugehörigen Dauer.
2. Verfahren nach dem vorhergehenden Anspruch, wobei die zeitliche Dauer einer Länge eines Zeitraums entspricht, in welchem der Nutzer entsprechend einer jeweiligen Vorhersage der erkannten Aktivität nachgeht.
3. Verfahren nach Anspruch 1 oder 2, gekennzeichnet durch ein
- Speichern der erkannten Aktivität mit der geschätzten und/oder einer erfassten zugeordneten zeitlichen Dauer in einer Aktivitäten-Da- tenbank, durch eine Speichereinheit (12); wobei
- das Schätzen der zeitlichen Dauer erfolgt basierend auf gleichen und/oder entsprechend einem vorgegebenen Ähnlichkeitskriterium ähnlichen Aktivitäten und der zeitlichen Dauer, welche für die gleiche beziehungsweise ähnliche Aktivität gespeichert ist.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
- eine der zumindest einen weiteren Funktionseinheit (7) eine Navigationseinheit ist; und
- das Durchführen der Funktion ein zumindest teilautonomes Steuern einer Fahrfunktion des Verkehrsmittels (2) gemäß einer vorgegebenen Route umfasst, insbesondere eine Längsführung wie beispielsweise eine Geschwindigkeitsvorgabe; wobei insbesondere
- die Fahrfunktion des Verkehrsmittels (2) in Abhängigkeit der erkannten Aktivität und/oder der zugehörigen zeitlichen Dauer der bereitgestellten Aktivitäten-Daten derart angepasst wird, dass es dem Nutzer (4) entsprechend einer hinterlegten Vorgabe für das teilautonome Steuern erlaubt ist die erkannte Aktivität zu vollenden.
5. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass
- das Durchführen der Funktion ein Vorgeben der Route für das zumindest teilautonome Steuern der Fahrfunktion des Verkehrsmittels (2) umfasst; und - die Route in Abhängigkeit der erkannten Aktivität und/oder der zugehörigen zeitlichen Dauer der bereitgestellten Aktivitäten-Daten derart vorgegeben wird, insbesondere angepasst wird, dass es dem Nutzer (4) entsprechend der hinterlegten Vorgabe für das teilautonome Steuern erlaubt ist, die erkannte Aktivität zu vollenden.
6. Verfahren nach dem vorhergehenden Anspruch, gekennzeichnet durch ein
- Erfassen von mindestens einer seitens des Nutzers (4) geplanten Aktivität mit einem Schätzen der jeweils zugehörigen zeitlichen Dauer, insbesondere unter Verwendung der Aktivitäten-Datenbank, durch eine Erfassungseinheit; bevorzugt mit einem Vorhersagen der zumindest einen seitens des Nutzers (4) geplanten Aktivitäten, insbesondere unter Verwendung der Aktivitäten-Datenbank; und mit einem
- Vorgeben der Route in Abhängigkeit der vom Nutzer (4) geplanten Aktivität und/oder der jeweiligen zugehörigen zeitlichen Dauer.
7. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass das Vorgeben der Route umfasst:
- ein Identifizieren zumindest eines Routenabschnittes mit gleichbleibenden oder im Wesentlichen gleichbleibenden Anforderungen an den Nutzer (4) sowie einer dem jeweiligen Routenabschnitt zugeordneten vorläufigen Reisedauer;
- Vergleichen der zumindest einen der oder den geplanten Aktivitäten zugeordneten zeitlichen Dauer mit der zumindest einen vorläufigen Reisedauer;
- Zuordnen der einen oder mehreren geplanten Aktivitäten zu einem oder mehreren jeweiligen Routenabschnitten anhand eines Vergleichsergebnisses für die zeitliche Dauer und Reisedauer;
- Anzeigen der vorgegebenen Route mit dem zumindest einen Routenabschnitt in Abhängigkeit der zumindest einen zugeordneten Aktivität, insbesondere mit einem jeweils für die zugeordnete Aktivität spezifischen Kennzeichnen des zumindest einen Routenabschnitts.
8. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass bei dem Zuordnen der einen oder mehreren geplanten Aktivitäten zu einem oder mehreren jeweiligen Routenabschnitten eine hinterlegte Dringlichkeit der jeweiligen Aktivität berücksichtigt wird, insbesondere indem dringlichere Aktivitäten Routenabschnitten zugeordnet werden, welche innerhalb der Route vor Routenabschnitten angeordnet sind, welche weniger dringlichen Aktivitäten zugeordnet werden.
9. Verfahren nach einem der beiden vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Zuordnen der einen oder mehreren geplanten Aktivitäten zu einem oder mehreren jeweiligen Routenabschnitten die vorläufige Reisedauer eines oder mehrerer Routenabschnitte an die jeweilige zeitliche Dauer einer oder mehrerer jeweiliger Aktivitäten angepasst wird, falls das Anpassen der vorläufigen Reisedauer zu einem im Sinne eines vorgegebenen Optimalitätskriteriums verbesserten Ergebnis des Zuordnens führt.
10. Verfahren nach einem der drei vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Vorgeben der Route ein Vorgeben von zumindest zwei sich voneinander unterscheidenden Alternativrouten umfasst, wobei das Identifizieren, das Vergleichen, das Zuordnen und das Anzeigen jeweils für die Alternativrouten erfolgt, insbesondere die Alternativrouten eine unterschiedliche zeitliche Reihung der geplanten Aktivitäten aufweisen.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bereitstellen an mehrere voneinander unabhängig funktionierende Funktionseinheiten (7) erfolgt.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bereitstellen an eine Funktionseinheit (7) für eine sprachbasierte Assistenzfunktion erfolgt und eine Sprachausgabefunktion mit in Abhängigkeit von der in den Aktivitäten-Daten spezifizierten Aktivität und der zugehörigen Dauer verzögert durchgeführt wird.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bereitstellen an zumindest eine Funktionseinheit (7) für eine Sicherheitsfunktion, insbesondere für eine Innenraumsicherheitsfunktion wie eine Airbag-Auslösefunktion, erfolgt und/oder an zumindest eine Funktionseinheit (7) für eine Komfortfunktion, insbesondere eine Innenraumbeleuchtungsfunktion wie eine Leselichtfunktion, erfolgt.
14. Assistenzsystem (1) für ein Verkehrsmittel (2), insbesondere für ein Kraftfahrzeug, mit:
- einer Kameraeinheit (3) zum Erzeugen von Bilddaten einer Aktivität eines Nutzers (4) des Verkehrsmittels (2) in einer Fahrgastzelle (5) des Verkehrsmittels (2);
- einer Recheneinheit (6) zum Erkennen der Aktivität des Nutzers (4) in der Fahrgastzelle (5) anhand der erzeugten Bilddaten; dadurch gekennzeichnet, dass
- die Recheneinheit (6) ausgebildet ist zum Schätzen einer zeitlichen Dauer für die erkannte Aktivität und zum Bereitstellen von Aktivitäten- Daten, welche die erkannte Aktivität und die für die erkannte Aktivität geschätzte zeitliche Dauer spezifizieren, an zumindest eine weitere Funktionseinheit (7).
15. Assistenzsystem (1) nach dem vorhergehenden Anspruch, gekennzeichnet durch die weitere Funktionseinheit (7), welche ausgebildet ist zum Durchführen einer Funktion in Abhängigkeit von der in den Aktivitäten-Daten spezifizierten Aktivität und der zugehörigen Dauer.
16. Verkehrsmittel (2), insbesondere Kraftfahrzeug, mit einem Assistenzsystem (1) nach einem der beiden vorhergehenden Ansprüche.
EP23833373.6A 2022-12-15 2023-12-14 Verfahren zum betreiben eines assistenzsystems, assistenzsystem und verkehrsmittel damit Pending EP4634024A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022213680.2A DE102022213680A1 (de) 2022-12-15 2022-12-15 Assistenz in einem Verkehrsmittel mit an eine erkannte Aktivität angepasster Funktion
PCT/EP2023/085964 WO2024126753A1 (de) 2022-12-15 2023-12-14 Verfahren zum betreiben eines assistenzsystems, assistenzsystem und verkehrsmittel damit

Publications (1)

Publication Number Publication Date
EP4634024A1 true EP4634024A1 (de) 2025-10-22

Family

ID=89430584

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23833373.6A Pending EP4634024A1 (de) 2022-12-15 2023-12-14 Verfahren zum betreiben eines assistenzsystems, assistenzsystem und verkehrsmittel damit

Country Status (3)

Country Link
EP (1) EP4634024A1 (de)
DE (1) DE102022213680A1 (de)
WO (1) WO2024126753A1 (de)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014212596A1 (de) 2014-06-30 2015-12-31 Robert Bosch Gmbh Autonomes Fahrsystem für ein Fahrzeug bzw. Verfahren zur Durchführung des Betriebs
DE102015205482A1 (de) 2015-03-26 2016-09-29 Volkswagen Aktiengesellschaft Vorrichtung, Verfahren und Computerprogramm zum Erstellen einer zeitlichen Abfolge von Aktivitäten eines Nutzers
DE102018209980A1 (de) * 2018-06-20 2019-12-24 Robert Bosch Gmbh Verfahren zur Wahl einer Route für ein Fahrzeug
DE102018215992A1 (de) 2018-09-20 2020-03-26 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erstellen einer Fahroptionsempfehlung für ein Fahrzeug
DE102018125939A1 (de) 2018-10-18 2020-04-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Steuereinheit zur Übergabe einer Fahraufgabe an einen Fahrer eines Fahrzeugs
DE102019009062A1 (de) 2019-12-23 2020-08-27 Daimler Ag Verfahren zum Betrieb eines zumindest teilautomatisiert fahrbaren Kraftfahrzeugs und ein Computerprogrammprodukt
DE102020212966A1 (de) 2020-10-14 2022-04-14 Audi Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtung zum Anpassen einer Route
DE102020133937A1 (de) * 2020-12-17 2022-06-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Ermittlung einer Fahrroute für ein automatisiert fahrendes Fahrzeug
FR3119016A1 (fr) 2021-01-20 2022-07-22 Psa Automobiles Sa Sélection d’un trajet vers une destination en fonction d’une tâche secondaire à effectuer par l’utilisateur d’un véhicule

Also Published As

Publication number Publication date
WO2024126753A1 (de) 2024-06-20
DE102022213680A1 (de) 2024-06-20

Similar Documents

Publication Publication Date Title
EP3762271B1 (de) Verfahren zum betrieb eines kraftfahrzeugs mit einem autopilotsystem und kraftfahrzeug
EP3752401B1 (de) Verfahren zum auswählen eines fahrprofils eines kraftwagens, fahrassistenzsystem und kraftwagen
EP3630569B1 (de) Verfahren zum betreiben eines kraftfahrzeugs sowie ein kraftfahrzeug
EP2997332B1 (de) Navigationshilfe für ein kraftfahrzeug mit autopiloten
EP3546887B1 (de) Verfahren zur anpassung der bedienung eines fahrzeugsteuerungssystems, vorrichtung zur verwendung bei dem verfahren sowie kraftfahrzeug und computerprogramm
AT518444A2 (de) Verfahren zum Erzeugen von Steuerdaten für ein regelbasiertes Unterstützen eines Fahrers
WO2003039914A1 (de) Informationssystem in einem fahrzeug mit fahrstylabhängiger erzeugung der auszugebenden informationen
DE102020111974B3 (de) Kraftfahrzeug, Steuergerät und Verfahren zum Steuern eines Kraftfahrzeugs zur blickrichtungsbasierten Reduktion von Kinetose
EP2727773A1 (de) Verfahren zum Aktivieren einer Sprachinteraktion mit einem Insassen eines Fahrzeugs und Sprachinteraktionssystem für ein Fahrzeug
DE102018111070A1 (de) Verfahren zum Betreiben eines Kraftfahrzeugs zur Verbesserung von Arbeitsbedingungen von Auswerteeinheiten des Kraftfahrzeugs, Steuersystem zum Durchführen eines derartigen Verfahrens sowie Kraftfahrzeug mit einem derartigen Steuersystem
EP4532287A1 (de) Verfahren zum unterstützen eines fahrers beim nutzen einer fahrerassistenzfunktion in einem kraftfahrzeug sowie kraftfahrzeug
DE102016005580A1 (de) Verfahren und System zum Vorhersagen eines Fahrverhaltens eines Fahrzeugs
WO2019174766A1 (de) Verfahren, eine vorrichtung sowie ein korrespondierendes computerprogramm zum variieren oder unterdrücken zumindest einer fahrerinformation
DE102020212966A1 (de) Verfahren, Computerprogramm und Vorrichtung zum Anpassen einer Route
DE102019112453A1 (de) Automatisches Auswählen einer Assistenzstufe für ein Fahrzeug
WO2024126753A1 (de) Verfahren zum betreiben eines assistenzsystems, assistenzsystem und verkehrsmittel damit
DE102018214506A1 (de) Verfahren zur Weiterentwicklung eines Fahrerassistenzsystems und Fahrerassistenzsystem für ein Fahrzeug
DE102019105590B3 (de) Cross-Platform Messaging in Fahrzeugen
DE102023211196B3 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems, mit welchem frühzeitige Anpassung einer adaptiven Geschwindigkeitsregelung durchgeführt werden kann, sowie elektronisches Fahrerassistenzsystem und Fahrzeug
WO2019238295A1 (de) Verfahren zum betreiben eines fahrzeugs und anordnung dazu
EP4646357A1 (de) Verfahren zum zumindest hochautomatisierten fahren und zum infrastrukturgestützten assistieren eines kraftfahrzeugs innerhalb eines parkplatzes
WO2017194241A1 (de) Verfahren zur steuerung von sprachgesteuerten bedienschnittstellen in kraftfahrzeugen und vorrichtung zur durchführung des verfahrens
DE102016214414A1 (de) Verfahren und system zum bereitstellen eines kraftfahrzeugs
DE102016205925A1 (de) Verfahren und System zum Steuern einer Anwendungseinheit
DE102024133096B3 (de) Verfahren zur Steuerung einer audiovisuellen Kommunikationsschnittstelle

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250613

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20251216

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)