EP4082869A1 - Verfahren zum steuern eines schienenverkehrs einer mehrzahl von schienenfahrzeugen - Google Patents

Verfahren zum steuern eines schienenverkehrs einer mehrzahl von schienenfahrzeugen Download PDF

Info

Publication number
EP4082869A1
EP4082869A1 EP21170890.4A EP21170890A EP4082869A1 EP 4082869 A1 EP4082869 A1 EP 4082869A1 EP 21170890 A EP21170890 A EP 21170890A EP 4082869 A1 EP4082869 A1 EP 4082869A1
Authority
EP
European Patent Office
Prior art keywords
kpi
action selection
control
rail
rail traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21170890.4A
Other languages
English (en)
French (fr)
Inventor
Caroline Campbell-Smith
Karl-Heinz Erhard
Daniel Hein
Steffen Limmer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Priority to EP21170890.4A priority Critical patent/EP4082869A1/de
Publication of EP4082869A1 publication Critical patent/EP4082869A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/10—Operations, e.g. scheduling or time tables
    • B61L27/14—Following schedules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/10—Operations, e.g. scheduling or time tables
    • B61L27/12—Preparing schedules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/10—Operations, e.g. scheduling or time tables
    • B61L27/16—Trackside optimisation of vehicle or train operation

Definitions

  • the invention relates to a method for controlling rail traffic on a plurality of rail vehicles.
  • Control of rail traffic involving a plurality of rail vehicles can be optimized for various control goals, for example advantageous energy consumption or the shortest possible delay times.
  • correspondingly optimized timetables can be generated, according to which the rail traffic and in particular the majority of rail vehicles can be controlled.
  • These optimized timetables are usually determined or calculated in an offline state, i.e. not during rail traffic operation.
  • the object of the invention is to provide an improved method for controlling rail traffic in a plurality of rail vehicles.
  • an improved method for controlling rail traffic of a plurality of rail vehicles can be provided in which, during the operation of rail traffic and the movement of the rail vehicles within a rail traffic network, a change in a control target according to which rail traffic is to be controlled or is to be optimized, can be made.
  • a plurality of different action selection rules are available for this purpose, by means of which control actions can be determined based on status data of the rail traffic, which, when executed by the plurality of rail vehicles of the rail traffic, optimize the rail traffic with regard to a predetermined control goal enable.
  • an action selection rule can be selected that is optimized for the respective control target or is set up to determine corresponding control actions that are set up to lead to the corresponding control target being achieved when executed by the respective rail vehicles.
  • the control target can be changed as desired during the operation of the rail traffic, and control actions for optimizing the rail traffic with respect to the selected control target can be determined without any problems by executing the respective action selection rule.
  • a complex adaptation of the control of rail traffic is hereby omitted.
  • an action selection rule is a policy known from the field of reinforcement learning, which is set up to determine corresponding control actions in any state of rail traffic that are suitable for rail traffic in a respect.
  • a control target is a target according to which the rail traffic of the plurality of rail vehicles is to be optimized or improved.
  • a control target or a corresponding optimization criterion for rail traffic can include, for example, energy consumption, an overall delay of the rail vehicles, or similar factors relevant to the operation of a plurality of rail vehicles.
  • rail traffic is a whole of a plurality of rail vehicles within a rail network and is characterized by states in which control states of the individual rail vehicles, the at least position information of the rail vehicles within the rail network and time information, for example Include delay times of the plurality of rail vehicles relative to a predetermined timetable, energy consumption or other control parameters of the entirety of the plurality of rail vehicles.
  • a change in the rail traffic in the course of the control of the rail vehicles within the rail traffic network is described by changes in the status of the rail traffic, in which the control statuses of the majority of rail vehicles and the control parameters, such as energy consumption or overall delay, experience a change over time.
  • control actions are actions or control measures according to which the majority of rail vehicles are to be controlled.
  • control actions can include, in addition to explicit control commands to the individual rail vehicles, time information which describes, for example, arrival times, departure times or standing times of the individual rail vehicles at stops within the rail network.
  • time information describes, for example, arrival times, departure times or standing times of the individual rail vehicles at stops within the rail network.
  • the rail vehicles are to be controlled in such a way that they meet or comply with the corresponding time specifications of the specifications.
  • Optimization of rail traffic with regard to a selected or predetermined control objective includes, within the meaning of the application, an improvement in the current state of rail traffic with regard to the respective control objective.
  • An optimization of rail traffic does not necessarily have to lead to an optimal state of rail traffic with regard to the respective control goal, but can only be limited by an improvement with regard to the control goal and in comparison to previous rail traffic conditions.
  • the method according to the invention for controlling rail traffic can thus be carried out during the operation of the rail traffic, while the individual rail vehicles are being moved within the rail traffic network becomes.
  • the rail traffic can be optimized with respect to a predetermined timetable according to which the majority of the rail vehicles within the rail traffic network are to be controlled.
  • a combined control target comprises a plurality of predetermined control targets, each of which is included in the combined control target with a corresponding weighting. This enables the rail traffic to be controlled with regard to a plurality of control objectives.
  • a combined control target is given by a plurality of at least two predetermined control targets, which are included in the combined control target with a corresponding weighting.
  • a rail transport can thus, for example, be controlled simultaneously with regard to the control goals of energy consumption and reduction of delays, for example in a ratio of 60 to 40.
  • a plurality of corresponding action selection rules are selected, each of which is optimized for the individual predetermined control goals of the combined control goal, and executed according to an execution ratio.
  • the execution ratio is designed in such a way that the execution of the selected action selection rules according to the execution ratio lead to the fulfillment of the combined control objective.
  • Executing a plurality of action selection rules according to an execution ratio corresponds, in the sense of the application, to an execution of the control actions respectively determined by the individual action selection rules according to the respective execution ratio.
  • an execution ratio describes a time portion of the respective execution of the action selection rule within a predetermined execution period for each action selection rule to be taken into account accordingly.
  • the execution of the individual control actions of the various action selection rules according to the execution ratio means that, according to the respective execution ratio, the rail traffic is controlled according to the respective action selection rules.
  • an execution duration and/or a chronological sequence of the plurality of action selection rules is determined by the execution ratio for each action selection rule.
  • an execution probability is determined by the execution ratio for each selected action selection rule, according to which the action selection rule is to be executed in an execution period.
  • an execution probability of an execution of the respective action selection rule within a corresponding execution period is determined for each action selection rule involved.
  • the probability of execution describes the probability that the rail traffic will be controlled during a predetermined period of time in accordance with the control actions determined by the respective action selection rule.
  • the selected action selection rules are executed cyclically, with the rail traffic being cyclically controlled according to the control actions determined by the action selection rules.
  • the selection and/or the execution of the action selection rules is executed by a time division function, wherein the time division function is trained by machine learning to determine corresponding execution ratios for combined control goals.
  • the technical advantage can be achieved that a precise selection of the respective control actions to be carried out and a precise determination of the respective execution conditions is made possible.
  • a highly complex control of a rail traffic comprising a large number of rail vehicles and an optimization of such with regard to combined control goals can be achieved precisely and reliably.
  • the use of machine learning techniques enables a more precise determination of the corresponding execution conditions and, associated with this, more effective and efficient control of rail traffic.
  • the time division function and/or the action selection rules are trained by reinforcement learning.
  • the action selection rules and/or the time division function are trained on the basis of simulation data, the simulation data being based on a simulation of rail traffic for a plurality of rail vehicles.
  • the technical advantage can be achieved that an effective and efficient training of the action selection rules or the time division function is made possible.
  • the training of the action selection rules and/or the time division function includes maximizing reward functions, the reward functions defining control goals and/or combined control goals.
  • the technical advantage can be achieved that effective and efficient training of the action selection rules or the time division function can be achieved.
  • the action selection rules and the time sharing functions are trained simultaneously.
  • the technical advantage can be achieved that improved control of the rail traffic is made possible.
  • the simultaneous training of the time division function and the plurality of action selection rules in relation to combined control objectives can result in the individual control actions of the different action selection rules being able to be adapted to the interaction with the respective other control selection rules.
  • a better performance of the action selection rules can be achieved than would be possible with an individual training of the individual action selection rules for individual control goals and only a combination of the individually trained action selection rules by the time distribution function to meet a combined control goal.
  • the action selection rules and/or the time division function are designed as neural networks.
  • the technical advantage can be achieved that an efficient and robust design of the action selection rules or time division functions can be provided.
  • control goals include: minimizing energy consumption of the plurality of rail vehicles and/or minimizing energy consumption of individual rail vehicles and/or minimizing an overall delay of the plurality of rail vehicles and/or minimizing a maximum delay of individual rail vehicles and/or Minimizing a quadratic or absolute deviation sum of the delays with respect to an average or median delay value of the plurality of rail vehicles.
  • the technical advantage can be achieved that precise control of the rail traffic is made possible, in which the rail traffic can be optimized with regard to relevant control goals.
  • control actions include arrival times and/or departure times and/or waiting times of the plurality of rail vehicles at stops within the rail traffic network.
  • the technical advantage can be achieved that efficient control of the rail traffic is made possible, taking into account combined control goals.
  • Precise control of the rail traffic can be achieved by taking into account departure times and/or arrival times and/or waiting times of the rail vehicles at stops within the rail traffic network in the respective control actions.
  • the corresponding arrival times and/or departure times and/or standing times can be related to a predetermined optimized timetable.
  • a control of the individual rail vehicles of the rail traffic can be designed in such a way that the departure times and/or arrival times and/or waiting times defined in the control actions are observed by the respective rail vehicles.
  • a computing unit is provided, the computing unit being designed to execute the method for controlling rail traffic of a plurality of rail vehicles according to one of the preceding embodiments.
  • a computer program product comprising instructions used in the Execution of the program by a data processing unit causing this to execute the method for controlling rail traffic of a plurality of rail vehicles according to one of the preceding embodiments.
  • FIG. 12 shows a schematic representation of a system 200 for optimizing rail traffic according to an embodiment.
  • a system 200 for optimizing rail traffic includes a plurality of modules that can be executed on a computing unit 201 .
  • the system 200 can also be divided into an offline sub-system 202 and an online sub-system 204, with the offline sub-system 202 being executed offline, i.e. independently of the operation of the rail vehicles 215, while the online sub-system 204 is executed during the operation of the Rail vehicles 215 is running.
  • the central component of the offline subsystem 202 is a timetable optimization module 211.
  • the timetable optimization module 211 is used to create an optimized timetable for rail traffic for a plurality of rail vehicles in a rail traffic network for a predetermined period of time.
  • the timetable optimization module 211 can transmit the optimized timetable created in the offline subsystem 202 to the online subsystem 204 via a first interface, so that the timetable for controlling the rail traffic can be executed.
  • the timetable now referred to as the online timetable, is managed by a timetable management module 205 .
  • position data of individual rail vehicles in rail traffic can be transmitted via an automatic rail vehicle tracking module 207 via a second interface S2 to the timetable management module 205, so that the latter can carry out a comparison between target movements in the timetable and actual movements actually carried out by the rail vehicles in rail traffic.
  • the timetable management module 205 can transmit commands to an automatic route selection module 209 via a third interface S3 for the selection of rail routes to be traveled on. Appropriate rail routes can thus be reserved in good time in order to ensure that the rail vehicles can be operated with minimal delays.
  • the timetable management module 205 also has a bidirectional interface S2, S4 with an automatic rail vehicle control module 203.
  • the automatic rail vehicle control module 203 can be informed accordingly in order to effect a change in the online timetable.
  • the automatic rail vehicle control module 203 also requires current position data of the rail vehicles in order to be able to determine current delays in the rail vehicles and to be able to initiate suitable controls in the event of larger deviations.
  • These regulations can include corresponding control actions to be carried out by the rail vehicles, with which desired departure times and/or arrival times and stopping times of the rail vehicles at stops on the rail routes of the rail transport network are to be achieved or observed by the rail vehicles in order to cancel the delay and to change the timetable.
  • the corresponding regulations and/or control actions can be transmitted to the schedule management module 205 via a fifth interface S5.
  • the corresponding regulations and control actions and the corresponding optimized arrival times/departure times/stop times are sent by the automatic timetable management module 205 via a sixth interface S6 to automatic rail vehicle control modules 213 of the individual rail vehicles 315 of the Rail traffic transmitted so that they can carry out the desired change or control actions in order to achieve or comply with the optimized arrival times/departure times/stop times.
  • the automatic rail vehicle control module 213 can determine energy-optimized travel trajectories of the rail vehicle 203 that best match the current online timetable.
  • the driver is advised, but is free to implement the regulations.
  • the automatic rail vehicle control module 203 is set up to execute the inventive method for controlling rail traffic of a plurality of rail vehicles 215 based on the status data of a rail traffic to be optimized.
  • FIG 2 10 shows a flow diagram of a method 100 for controlling rail traffic according to an embodiment.
  • the method 100 according to the invention for controlling rail traffic of a plurality of rail vehicles 215 can be carried out by a system 200 according to the embodiment in figure 1 and in particular by an automatic rail vehicle control module 203 .
  • status data of the rail traffic of the plurality of rail vehicles 215 are first received in a method step 101 .
  • the status data describe statuses of the rail traffic and include at least position data of the plurality of rail vehicles, according to which positioning of the rail vehicles within the rail traffic network is possible.
  • the status data can also include rail traffic control criteria, such as rail traffic energy consumption or of the individual rail vehicles or delays in the rail vehicles both as a whole and individually and other relevant criteria for controlling rail traffic.
  • the method can be carried out during operation of the rail traffic, in which the rail vehicles are moved according to a timetable within the traffic network.
  • the status data here describe the status of the rail traffic and describe at least the positions within the traffic network at which vehicles are located at a specific point in time.
  • the status data can also include time information, for example delay times of the individual rail vehicles in relation to an optimized timetable.
  • a control target KPI 1 , KPI 2 , KPI N is received.
  • the control target can be given, for example, by an energy consumption of all the rail vehicles or an overall delay of all the rail vehicles or by individual delays of the individual rail vehicles.
  • the control target KPI 1 , KPI 2 , KPI N can be received during the operation of the rail traffic and thus during the movement of the rail vehicles within the traffic network. This enables a control target KPI 1 , KPI 2 , KPI N to be changed during online rail traffic operation.
  • the control objective specifies a criterion according to which rail traffic can be controlled. For example, the rail traffic can be controlled in such a way that the total energy consumption of the rail vehicles is minimal. Alternatively, the rail traffic can be controlled to avoid or minimize delays of the vehicles to the timetable
  • a method step 105 at least one action selection rule ⁇ 1 , ⁇ 2 , ⁇ N from a plurality of pre-stored Action selection rules ⁇ 1 , ⁇ 2 , ⁇ N selected.
  • the action selection rules ⁇ 1 , ⁇ 2 , ⁇ N are set up to determine control actions based on status data of the rail traffic which, when executed by the rail vehicles of the rail traffic, lead to an optimization of the rail traffic with respect to a predetermined control target KPI 1 , KPI 2 , KPI N .
  • the individual action selection rules ⁇ 1 , ⁇ 2 , ⁇ N are optimized with respect to an individual control goal KPI 1 , KPI 2 , KPI N .
  • an action selection rule ⁇ 1 , ⁇ 2 , ⁇ N is optimized for an optimization with regard to the total energy consumption of rail traffic, while another action selection rule is optimized with regard to minimizing a total delay of the rail vehicles in the rail traffic.
  • Optimizing an action selection rule ⁇ 1 , ⁇ 2 , ⁇ N with respect to a control target KPI 1 , KPI 2 , KPI N is to be understood in such a way that the respective action selection rule ⁇ 1 , ⁇ 2 , ⁇ N is set up to determine corresponding control actions that when executed by the rail vehicles, lead to the optimization of rail traffic with regard to the respective control objective KPI 1 , KPI 2 , KPI N.
  • the action selection rule ⁇ 1 , ⁇ 2 , ⁇ N is selected from the plurality of pre-stored action selection rules ⁇ 1 , ⁇ 2 , ⁇ N , which is optimized with respect to the received control target KPI 1 , KPI 2 , KPI N .
  • control actions determined by the action selection rules ⁇ 1 , ⁇ 2 , ⁇ N based on the status data of the rail traffic can, in addition to or as an alternative to actual control commands to the rail vehicles, include time specifications in the form of arrival, departure and/or waiting times of the rail vehicles at stops in the transport network .
  • An action selection rule ⁇ 1 , ⁇ 2 , ⁇ N optimized, for example, for the energy consumption of the plurality of rail vehicles is thus set up, based on the status data of the rail traffic, in which at least the positions of the rail vehicles are described at a specific point in time, arrival, departure and /or standstill times of the rail vehicles for stops to be headed for in the future to determine, arrival, departure and/or standing times are designed in such a way that when the rail vehicles are controlled in such a way that the rail vehicles comply with the arrival, departure and/or standing times, the energy consumption of the rail vehicles is minimized.
  • the correspondingly determined arrival, departure and/or waiting times can vary for different control goals. For example, in order to reduce energy consumption, it can be advantageous to allow a vehicle to stop longer at a bus stop in order to synchronize the vehicle's starting off with the acceleration and/or braking of other vehicles. On the other hand, longer standstill times cannot be conducive to reducing delays in rail vehicles, as this would in fact generate further delays.
  • the correspondingly determined arrival, departure and/or waiting times also depend on the status data of the rail traffic and in particular on the positioning of the individual vehicles.
  • the at least one selected action selection rule ⁇ 1 , ⁇ 2 , ⁇ N is executed on the received rail traffic status data and corresponding control actions are determined.
  • the determined control actions for example the corresponding arrival, departure and/or waiting times, are set up in such a way that with appropriate control of the vehicles, the rail traffic can be put into a state that is optimized or at least improved compared to earlier ones with regard to the respective control goal states. For example, in a state generated in this way, a delay to the predetermined timetable can be reduced or energy consumption can be reduced.
  • the control actions according to the embodiment become figure 1 provided to the various modules of the system 200 such that a controller of rail traffic is enabled.
  • the control here includes that the rail vehicles are controlled in such a way that the arrival, departure and/or waiting times determined in the method step are observed by the vehicles.
  • the corresponding arrival, departure and/or waiting times can take into account not only a stop immediately ahead for a respective vehicle on a route of the traffic network, but also a plurality of stops that the vehicle can reach on the route in a predetermined period of time with appropriate control.
  • the corresponding control actions can thus include a set of arrival, departure and/or standstill times for a plurality of stops for a rail vehicle.
  • a combined control target KPI is received.
  • the combined control target KPI includes a plurality of predetermined control targets KPI 1 , KPI 2 , KPI N , which are each included in the combined control target KPI with individual weightings W 1 , W 2 , W N .
  • a combined control target KPI can thus include, for example, a simultaneous optimization with regard to energy consumption and with regard to minimizing an overall delay in rail traffic, with the optimization with regard to energy consumption and the optimization with regard to the overall delay in any ratio, for example 60 to 40, in the combined control target KPI.
  • a control can thus take place in such a way that, for example, a 60% reduction in the energy consumption and a 40% reduction in a delay are achieved.
  • the control objectives described and the ratios and percentages given are only exemplary and do not represent any limitation of the invention.
  • a plurality of action selection rules ⁇ 1 , ⁇ 2 , ⁇ N of the pre-stored action selection rules ⁇ 1 , ⁇ 2 , ⁇ N are then selected.
  • the selected action selection rules ⁇ 1 , ⁇ 2 , ⁇ N are here on the corresponding Control targets KPI 1 , KPI 2 , KPI N of the combined control target KPI optimized.
  • the action selection rules ⁇ 1 , ⁇ 2 , ⁇ N of the selected plurality are then executed according to an execution ratio.
  • the execution ratio describes for each of the selected action selection rules ⁇ 1 , ⁇ 2 , ⁇ N a time proportion of a total execution time of the plurality of executed action selection rules ⁇ 1 , ⁇ 2 , ⁇ N and enables the combined control objective KPI to be met by executing the selected action selection rules ⁇ 1 , ⁇ 2 , ⁇ N according to the corresponding execution ratio.
  • the rail vehicles are controlled according to the control actions determined by the selected action selection rules ⁇ 1 , ⁇ 2 , ⁇ N in the respective execution ratio.
  • the execution ratio can correspond to the weighting of the individual control targets KPI 1 , KPI 2 , KPI N of the combined control target KPI, so that the rail traffic according to the example described above is controlled for 60% of a control period according to an optimization with regard to energy consumption and 40% % of the execution period is controlled according to an optimization with regard to a total delay.
  • the rail vehicles are controlled according to the control actions determined by the action selection rules ⁇ 1 , ⁇ 2 , ⁇ N .
  • the execution ratio can also deviate from the respective weighting W 1 , W 2 , W N of the individual control objectives KPI 1 , KPI 2 , KPI N of the combined control objective KPI.
  • the execution ratio can describe an execution duration t 1 , t 2 , t N for each of the individual action selection rules ⁇ 1 , ⁇ 2 , ⁇ N and/or determine a chronological sequence of the plurality of action selection rules ⁇ 1 , ⁇ 2 , ⁇ N .
  • Rail traffic can thus, following the example described above, be optimized for a correspondingly determined execution time t 1 , t 2 with regard to energy consumption and for a corresponding execution time t 1 , t 2 optimized with regard to a total delay.
  • the execution times t 1 , t 2 can be divided into corresponding time windows, so that, for example, rail traffic can be alternately optimized with regard to one control objective and subsequently with regard to the other.
  • Controlling rail traffic according to the execution ratio and the correspondingly determined execution times t 1 , t 2 , t N for the various action selection rules ⁇ 1 , ⁇ 2 , ⁇ N means that the rail vehicles are controlled for an execution time in such a way that these arrival, Achieve or comply with departure and/or waiting times that are suitable for achieving a first control goal and are controlled for a further execution period in order to achieve or comply with other arrival, departure and/or standing times that are set up, another To achieve control target of the combined control target.
  • the execution ratio can determine an execution probability P for each selected action selection rule ⁇ 1 , ⁇ 2 , ⁇ N according to which the action selection rule ⁇ 1 , ⁇ 2 , ⁇ N is to be executed in an execution period.
  • the probability P at which each action selection rule ⁇ 1 , ⁇ 2 , ⁇ N is to be executed in a corresponding execution period is thus determined stochastically. This means that the rail traffic can be optimized according to the corresponding execution probability P during an execution period with regard to energy consumption or the total delay.
  • An execution time can be given, for example, by a cycle time in a cyclic control of the rail traffic, so that for each cycle time of a cycle to be executed of the control of the rail traffic according to the corresponding execution probabilities P of the rail traffic with regard to the respective control goals KPI 1 , KPI 2 , KPI N are optimized can.
  • the selection in method step 105 and/or the execution in method step 107 of the plurality of action selection rules ⁇ 1 , ⁇ 2 , ⁇ N can be performed by a time division function 300 .
  • the time division function 300 can use machine learning techniques to determine corresponding execution ratios, taking into account combined control goals KPI.
  • the time sharing function 300 may be trained by reinforcement learning, for example.
  • the time division function 300 can be formed by a correspondingly trained neural network 303 .
  • the action selection rules ⁇ 1 , ⁇ 2 , ⁇ N can be trained for optimization with respect to the respective control goals KPI 1 , KPI 2 , KPI N by reinforcement learning.
  • the action selection rules ⁇ 1 , ⁇ 2 , ⁇ N can likewise be in the form of appropriately trained neural networks.
  • the time division function 300 or the action selection rules ⁇ 1 , ⁇ 2 , ⁇ N can be trained based on simulation data of a rail traffic simulation.
  • the simulation data can be provided by a corresponding simulation, for example by the simulation program Falko.
  • the training of the action selection rules ⁇ 1 , ⁇ 2 , ⁇ N and/or the time division function 300 can include maximizing a reward function that includes the respective control goals KPI 1 , KPI 2 , KPI N or combined control goals KPI.
  • the training of the action selection rules ⁇ 1 , ⁇ 2 , ⁇ N can be carried out individually, so that each action selection rule ⁇ 1 , ⁇ 2 , ⁇ N is trained for an individual control goal KPI 1 , KPI 2 , KPI N .
  • the time division function 300 can then be based on various combined control objectives KPI, each taking into account various Weights W 1 , W 2 , W N comprising the control goals KPI 1 , KPI 2 , KPI N of the individual action selection rules ⁇ 1 , ⁇ 2 , ⁇ N are trained to determine corresponding execution ratios.
  • the action selection rules ⁇ 1 , ⁇ 2 , ⁇ N and the time division function 300 can be trained simultaneously.
  • the pre-trained action selection rules ⁇ 1 , ⁇ 2 , ⁇ N optimized for the individual control objectives KPI 1 , KPI 2 , KPI N can be used to fulfill the combined control objective KPI are trained while the time sharing function 300 is trained to determine a corresponding execution ratio.
  • the method according to the invention can be applied to a large number of any control objectives KPI 1 , KPI 2 , KPI N and corresponding combined control objectives KPI and to any number of appropriately trained action selection rules ⁇ 1 , ⁇ 2 , ⁇ N .
  • KPI 3 shows a diagram of an optimization of rail traffic in relation to two control goals (KPI 1 , KPI 2 , KPI N ).
  • figure 3 shows a diagram of a Pareto front of rail traffic that is controlled or optimized with respect to two control goals KPI 1 , KPI 2 .
  • the diagram in figure 3 1 shows a percentage optimization O 1 with respect to the first control target KPI 1 and a percentage optimization O 2 with respect to the second control target KPI 2 .
  • Several optimized states Opt, Opt1, Opt2 are shown.
  • the points of the Pareto front shown here show optimizations of the rail traffic with regard to the two optimization goals KPI 1 , KPI 2 for different weightings W 2 of the second control goal KPI 2 .
  • the point Opt1 here shows an optimized state of the rail traffic for a weighting W 2 equal to 0 of the second control target KPI 2 , so that the rail traffic in the shown Optimization status Opt1 is 100% optimized with regard to the first control objective KPI 1 .
  • the optimized state Opt2 shows an optimization of the rail traffic for a weighting W 2 equal to 100 of the second control target KPI 2 , so that in this optimized state the rail traffic is optimized exclusively for optimization with regard to the second control target KPI 2 .
  • the other optimized states show different ratios of the two control targets KPI 1 , KPI 2 , which are combined in a combined control target KPI according to the respective weightings W 1 , W 2 .
  • the diagram shown shows an optimization of the rail traffic with respect to a reference state Ref, so that the percentage optimizations O 1 , O 2 represent improvements in rail traffic with respect to the first and second control targets KPI 1 , KPI 2 with respect to the reference state Ref.
  • the numerical values shown are only examples and do not represent any actual optimization of rail traffic.
  • the process of optimizing rail traffic shown can, for example, describe a situation in which rail traffic has deviated from a predetermined optimized timetable due to the operation of the rail vehicles, and thus due to the execution of the method according to the invention and an improvement or return of the rail traffic to the predetermined optimized timetable, taking into account the respective control goals, is to be brought about by appropriate optimization of the rail traffic with regard to the respective control goals KPI 1 , KPI 2 , KPI N .
  • FIG 4 shows a schematic representation of a temporal execution of two action selection rules ( ⁇ 1 , ⁇ 2 ) according to an execution ratio.
  • figure 4 shows a time profile of an execution of two action selection rules ⁇ 1 , ⁇ 2 over an execution period which is given by a cycle time t c in the embodiment shown.
  • the first action selection rule ⁇ 1 each executed for a first execution time t 1
  • the second action selection rule ⁇ 2 is subsequently executed for a second execution time t 2 .
  • the execution period of the cycle time t c is divided into individual time segments t s .
  • the action selection rules ⁇ 1 , ⁇ 2 are each executed in the time intervals t s and thus bring about transitions of the rail traffic into different states S t , S t+1 , . . . , S t+9 according to the respective control actions.
  • the representation in figure 4 Figure 12 shows an example of an execution ratio in which each action selection rule ⁇ 1 , ⁇ 2 is assigned a corresponding execution duration t 1 , t 2 .
  • corresponding execution probabilities P can be assigned to the first and second action selection rules ⁇ 1 , ⁇ 2 shown, so that the action selection rules ⁇ 1 , ⁇ 2 are executed in the individual time periods t s according to the respectively assigned execution probabilities P.
  • FIG. 3 shows a schematic representation of an architecture for a time division function 300 according to an embodiment.
  • FIG. 3 shows an architecture of a time sharing function 300 for execution and control of rail traffic.
  • the rail traffic control time division function 300 is applied to a combined control objective KPI comprising control objectives KPI 1 , KPI 2 , KPI N provided with the appropriate weights W 1 , W 2 , W N .
  • the time division function 300 is set up here, an execution ratio according to in figure 4 to generate the embodiment shown, which determines a corresponding execution time for each action selection rule ⁇ 1 , ⁇ 2 , ⁇ N .
  • the time division function 300 comprises a time division module 301 and a selection module 302.
  • the time division module 301 is set up to determine corresponding execution ratios for combined control goals KPI.
  • the selection module 302 is further set up to select the respective action selection rules ⁇ 1 , ⁇ 2 , ⁇ N based on the determined execution conditions.
  • the time division module 301 is designed as a neural network 303 .
  • the selection module 302 also includes an Argmax function which is set up to select the respective action selection rules ⁇ 1 , ⁇ 2 , ⁇ N .
  • a modulation operator mod is also included in the neural network 303 of the time division module 301 as an activation function.
  • the modulation operator mod makes it possible to consider the division of the cycle time t c as the execution period into the in figure 4 illustrated periods of time t s . Deviating from the embodiment shown, the modulation operator mod can also be arranged as an activation function in lower layers of the neural network.
  • the in the figures 5 , 6 The structures of the neural networks shown are only examples and do not describe any structures of neural networks that can actually be implemented.
  • the time division function 300 is trained to determine a corresponding execution ratio for any combined control objectives KPI, according to which action selection rules ⁇ 1 , ⁇ 2 , ⁇ N optimized for the individual control objectives KPI 1 , KPI 2 , KPI N are to be executed.
  • status data of the rail vehicles are received during the operation of the rail traffic and during the process of the plurality of rail vehicles.
  • the status data can in this case, for example indicate that the current state of rail traffic deviates from a predetermined timetable.
  • Controlling rail traffic can thus provide for bringing rail traffic back into line with the optimized timetable and reducing delays accordingly.
  • This control can be aimed at with regard to various control objectives KPI 1 , KPI 2 , KPI N .
  • the control of rail traffic can be aimed at as energy-saving as possible.
  • the aim is to control rail traffic taking into account a combined control objective KPI, which includes a plurality of control objectives KPI 1 , KPI 2 , KPI N with a specific weighting.
  • rail traffic control can be aimed at in such a way that the optimal timetable is restored taking into account minimized energy consumption and taking into account the shortest possible time until renewed agreement with the optimized timetable.
  • a corresponding combined control objective KPI is received, which includes the respective desired control objectives KPI 1 , KPI 2 , KPI N with appropriate weightings, the weightings W 1 , W 2 , W N for each KPI 1 , KPI 2 , KPI N describe a prioritization within the control of rail traffic.
  • the time division function 300 is applied to the received combined control target KPI and a corresponding execution ratio is determined.
  • the execution ratio indicates a ratio according to which the action selection rules ⁇ 1 , ⁇ 2 , ⁇ N belonging to the respective control objectives KPI 1 , KPI 2 , KPI N or optimized for them are to be executed and according to which rail traffic is of the respective control actions of the action selection rules ⁇ 1 , ⁇ 2 , ⁇ N is to be controlled.
  • the corresponding action selection rules ⁇ 1 , ⁇ 2 , ⁇ N are selected by the selection module 302 and the selected action selection rules ⁇ 1 , ⁇ 2 , ⁇ N are applied to the received rail traffic status data.
  • applying the action selection rules ⁇ 1 , ⁇ 2 , ⁇ N to the status data includes determining corresponding control actions and, if necessary, corresponding arrival, departure and idle times that are optimized for the respective control goals.
  • Each action selection rule ⁇ 1 , ⁇ 2 , ⁇ N and the corresponding control actions that can be determined by these are optimized for one of the control goals.
  • the action selection rule ⁇ 1 , ⁇ 2 , ⁇ N is able to determine control actions that are set up, when executed by the rail vehicles, the rail traffic from a to convert the current state into a state that is optimized with respect to the respective control goal or at least improved compared to the previous state in time.
  • the execution ratio describes a time ratio that assigns an execution duration to each participating action selection rule ⁇ 1 , ⁇ 2 , ⁇ N , which specifies the period of time during which the respective action selection rule ⁇ 1 , ⁇ 2 , ⁇ N is to be executed.
  • the time relationship is set up in such a way that the respective combined control target KPI is achieved.
  • the rail traffic control can be executed cyclically, so that according to predetermined control cycles, status data and control targets are received, the time division function 300 is applied to the control targets, and corresponding execution ratios are determined, the corresponding Action selection rules ⁇ 1 , ⁇ 2 , ⁇ N are executed according to the respective execution conditions on the received status data, corresponding control actions are determined and the rail vehicles are controlled according to the control actions and the rail traffic is thus transferred to an optimized or at least improved state with regard to the respective control objective.
  • the representation of the time division function 300 shown is merely exemplary.
  • the neural network 301 shown does not represent a neural network that is actually to be executed.
  • FIG. 3 shows a further schematic representation of a training architecture for a time division function 300 according to a further embodiment.
  • figure 6 12 shows another embodiment of an architecture for a time division function 300.
  • the time division function 300 is trained to determine an execution ratio that determines corresponding execution probabilities P for each action selection rule ⁇ 1 , ⁇ 2 , ⁇ N .
  • the selection module 300 includes a soft max function 305 which is set up to select the corresponding action selection rules ⁇ 1 , ⁇ 2 , ⁇ N based on the execution probabilities P determined by the time division module 301 .
  • the execution of the architecture is analogous to the execution of the architecture in 6 . Instead of the execution time described there, in 7 However, as shown in the architecture, the various action selection rules are executed for predetermined periods of time according to the execution probabilities P determined by the time division function 300 .
  • FIG 7 shows a diagram of a hyper volume HV of an optimization state of rail traffic.
  • figure 7 shows a graphic representation of a hypervolume HV for various optimized states of a rail traffic to be optimized with respect to two control targets KPI 1 , KPI 2 .
  • the hypervolume can serve as an objective variable for determining the quality of a training process or the quality of the optimization capabilities of the individual action selection rules ⁇ 1 , ⁇ 2 , ⁇ N or of the time division function 300 .
  • FIG. 8 shows a schematic representation of a computer program product 40, comprising instructions which, when the program is executed by a computing unit, cause the latter to execute the method 100 according to one of the above-mentioned embodiments.
  • the computer program product 400 is stored on a storage medium 401 in the embodiment shown.
  • the storage medium 401 can be any storage medium known from the prior art.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (100) zum Steuern eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen (215), umfassend:- Empfangen (101) von Zustandsdaten des Schienenverkehrs;- Empfangen (103) eines Steuerungsziels (KPI<sub>1</sub>, KPI<sub>2</sub>, KPI<sub>N</sub>) zum Steuern des Schienenverkehrs der Mehrzahl von Schienenfahrzeugen (215);- Auswählen (105) wenigstens einer Aktionsauswahlregel (Π<sub>1</sub>, Π<sub>2</sub>, Π<sub>N</sub>) aus einer Mehrzahl von Aktionsauswahlregeln (Π<sub>1</sub>, Π<sub>2</sub>, Π<sub>N</sub>) basierend auf dem Steuerungsziel (KPI<sub>1</sub>, KPI<sub>2</sub>, KPI<sub>N</sub>), wobei die Aktionsauswahlregeln (Π<sub>1</sub>, Π<sub>2</sub>, Π<sub>N</sub>) eingerichtet sind, basierend auf Zustandsdaten des Schienenverkehrs Steuerungsaktionen des Schienenverkehrs zu ermitteln, wobei durch Ausführung der Steuerungsaktionen durch die Schienenfahrzeuge (215) der Schienenverkehr in einen bezüglich eines Steuerungsziels (KPI<sub>1</sub>, KPI<sub>2</sub>, KPI<sub>N</sub>) optimierten Zustand überführbar ist;- Ausführen (107) der wenigstens einen ausgewählten Aktionsauswahlregel (Π<sub>1</sub>, Π<sub>2</sub>, Π<sub>N</sub>) auf die empfangenen Zustandsdaten und Ermitteln von Steuerungsaktionen; und- Bereitstellen (109) der Steuerungsaktionen zum Ansteuern der Mehrzahl von Schienenfahrzeugen (215).

Description

  • Die Erfindung betrifft ein Verfahren zum Steuern eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen.
  • Eine Steuerung eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen, wie beispielsweise in einem U-Bahn- oder Straßenbahnnetz, kann auf verschiedene Steuerungsziele optimiert sein, beispielsweise auf einen vorteilhaften Energieverbrauch oder möglichst geringe Verspätungszeiten. Hierzu lassen sich entsprechend optimierte Fahrpläne generieren, gemäß denen der Schienenverkehr und insbesondere die Mehrzahl von Schienenfahrzeugen gesteuert werden können. Diese optimierten Fahrpläne werden für gewöhnlich in einem Offline-Zustand, sprich nicht während des Betriebs des Schienenverkehrs, ermittelt beziehungsweise berechnet. Treten nun jedoch während des Betriebs des Schienenverkehrs Situationen auf, in denen vom vordefinierten und optimierten Fahrplan abgewichen werden muss, ergibt sich die Problematik, wie im Online-Zustand, also während des Betriebs, eine möglichst optimale Steuerung des Schienenverkehrs erreicht werden kann.
  • Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zum Steuern eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen bereitzustellen.
  • Diese Aufgabe wird durch ein Verfahren zum Steuern eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen gemäß dem unabhängigen Anspruch 1 gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der untergeordneten Ansprüche.
  • Nach einem Aspekt der Erfindung wird ein Verfahren zum Steuern eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen bereitgestellt, wobei das Verfahren umfasst:
    • Empfangen von Zustandsdaten der Mehrzahl von Schienenfahrzeugen des Schienenverkehrs, wobei die Zustandsdaten Steuerungszustände der Mehrzahl von Schienenfahrzeugen beschreiben und wenigstens Positionsdaten der Schienenfahrzeuge innerhalb eines Schienenverkehrsnetzes umfassen;
    • Empfangen eines Steuerungsziels zum Steuern des Schienenverkehrs der Mehrzahl von Schienenfahrzeugen;
    • Auswählen wenigstens einer Aktionsauswahlregel aus einer Mehrzahl von Aktionsauswahlregeln basierend auf dem Steuerungsziel, wobei die Aktionsauswahlregeln eingerichtet sind, basierend auf Zustandsdaten des Schienenverkehrs Steuerungsaktionen des Schienenverkehrs zu ermitteln, wobei durch Ausführung der Steuerungsaktionen durch die Schienenfahrzeuge der Schienenverkehr in einen bezüglich eines Steuerungsziels optimierten Zustand überführbar ist, wobei jede Aktionsauswahlregel für die Optimierung bezüglich eines individuellen Steuerungsziels eingerichtet ist, und wobei die wenigstens eine ausgewählte Aktionsauswahlregel für eine Optimierung bezüglich des empfangenen Steuerungsziels eingerichtet ist;
    • Ausführen der wenigstens einen ausgewählten Aktionsauswahlregel auf die empfangenen Zustandsdaten und Ermitteln von Steuerungsaktionen; und
    • Bereitstellen der Steuerungsaktionen zum Ansteuern der Mehrzahl von Schienenfahrzeugen.
  • Hierdurch kann der technische Vorteil erreicht werden, dass ein verbessertes Verfahren zum Steuern eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen bereitgestellt werden kann, bei dem während des Betriebs des Schienenverkehrs und dem Verfahren der Schienenfahrzeuge innerhalb eines Schienenverkehrsnetzes eine Änderung eines Steuerungsziels, gemäß dem der Schienenverkehr zu steuern bzw. zu optimieren ist, vorgenommen werden kann. Hierzu steht eine Mehrzahl verschiedener Aktionsauswahlregeln bereit, mittels denen basierend auf Zustandsdaten des Schienenverkehrs Steueraktionen ermittelt werden können, die bei Ausführung durch die Mehrzahl von Schienenfahrzeugen des Schienenverkehrs eine Optimierung des Schienenverkehrs bzgl. eines vorbestimmten Steuerungsziels ermöglichen. Bei Empfang eines entsprechend zu ändernden Steuerungsziels kann somit eine Aktionsauswahlregel ausgewählt werden, die für das jeweilige Steuerungsziel optimiert ist bzw. eingerichtet ist, entsprechende Steueraktionen zu ermitteln, die eingerichtet sind, bei Ausführung durch die jeweiligen Schienenfahrzeuge zum Erreichen des entsprechenden Steuerungsziels zu führen. Hierdurch kann erreicht werden, dass während des Betriebs des Schienenverkehrs beliebig eine Änderung des Steuerungsziels vorgenommen werden kann, und problemlos durch Ausführung der jeweiligen Aktionsauswahlregel Steuerungsaktionen zum Optimieren des Schienenverkehrs bzgl. des ausgewählten Steuerungsziels ermittelt werden können. Eine komplexe Anpassung der Steuerung des Schienenverkehrs entfällt hiermit.
  • Eine Aktionsauswahlregel ist im Sinne der Anmeldung eine aus dem Bereich des bestärkenden Lernens (reinforcement learning) bekannten Policy, die eingerichtet ist, bei einem beliebigen Zustand des Schienenverkehrs entsprechende Steuerungsaktionen zu ermitteln, die geeignet sind, den Schienenverkehr in einen bzgl. eines vorbestimmten Steuerungsziels optimierten Zustand zu überführen.
  • Ein Steuerungsziel ist im Sinne der Anmeldung eine Zielvorgabe, gemäß der der Schienenverkehr der Mehrzahl von Schienenfahrzeugen zu optimieren bzw. zu verbessern ist. Ein Steuerungsziel bzw. ein entsprechendes Optimierungskriterium des Schienenverkehrs kann beispielsweise einen Energieverbrauch, eine Gesamtverspätung der Schienenfahrzeuge, oder ähnliche für den Betrieb einer Mehrzahl von Schienenfahrzeugen relevante Faktoren umfassen.
  • Ein Schienenverkehr ist im Sinne der Anmeldung eine Gesamtheit einer Mehrzahl von Schienenfahrzeugen innerhalb eines Schienenverkehrsnetztes und ist durch Zustände gekennzeichnet, in denen Steuerungszustände der einzelnen Schienenfahrzeuge, die wenigstens Positionsangaben der Schienenfahrzeuge innerhalb des Schienenverkehrsnetzes sowie Zeitangaben, beispielsweise Verspätungszeiten der Mehrzahl von Schienenfahrzeugen relativ zu einem vorbestimmten Fahrplan, Energieverbräuche oder weitere Steuerungsparameter der Gesamtheit der Mehrzahl von Schienenfahrzeugen umfassen. Eine Änderung des Schienenverkehrs im Zuge der Ansteuerung der Schienenfahrzeuge innerhalb des Schienenverkehrsnetzes wird durch Zustandsänderungen des Schienenverkehrs beschrieben, in denen die Steuerungszustände der Mehrzahl von Schienenfahrzeugen wie auch die Steuerungsparameter, wie Energieverbrauch oder Gesamtverspätung, eine zeitliche Änderung erfahren.
  • Steuerungsaktionen sind im Sinne der Anmeldung Aktionen bzw. Steuerungsmaßgaben, gemäß denen die Mehrzahl von Schienenfahrzeugen anzusteuern ist. Steuerungsaktionen können im Sinne der Anmeldung neben expliziten Ansteuerungsbefehlen an die einzelnen Schienenfahrzeuge Zeitangaben umfassen, die beispielsweise Ankunftszeiten, Abfahrtszeiten oder Standzeiten der einzelnen Schienenfahrzeuge an Haltestellen innerhalb des Schienenverkehrsnetzes beschreiben. Die Schienenfahrzeuge sind hierbei derart anzusteuern, dass diese die entsprechenden Zeitangaben der Vorgaben erfüllen beziehungsweise einhalten.
  • Eine Optimierung des Schienenverkehrs bzgl. eines ausgewählten oder vorbestimmten Steuerungsziels umfasst im Sinne der Anmeldung eine Verbesserung eines derzeitigen Zustands des Schienenverkehrs in Bezug auf das jeweilige Steuerungsziel. Eine Optimierung des Schienenverkehrs muss somit im Sinne der Anmeldung nicht zwangsläufig zu einem optimalen Zustand des Schienenverkehrs bzgl. des jeweiligen Steuerungsziels führen, sondern kann lediglich durch eine Verbesserung in Bezug auf das Steuerungsziel und im Vergleich zeitlich vorangegangene Zustände des Schienenverkehrs beschränkt sein.
  • Das erfindungsgemäße Verfahren zum Steuern eines Schienenverkehrs kann somit während des Betriebs des Schienenverkehrs ausgeführt werden, während dem ein Verfahren der einzelnen Schienenfahrzeuge innerhalb des Schienenverkehrsnetzes vorgenommen wird. Die Optimierung des Schienenverkehrs kann hierbei bzgl. eines vorbestimmten Fahrplans, gemäß dem die Mehrzahl der Schienenfahrzeuge innerhalb des Schienenverkehrsnetzes anzusteuern sind, vorgenommen werden.
  • Nach einer Ausführungsform ist das empfangene Steuerungsziel ein kombiniertes Steuerungsziel und umfasst eine Mehrzahl von Steuerungszielen, wobei die Steuerungsziele mit individuellen Gewichtungen in das kombinierte Steuerungsziel eingeht; umfassend:
    • Auswählen einer Mehrzahl von Aktionsauswahlregeln, wobei jede Aktionsauswahlregel jeweils auf eine Optimierung bezüglich eines der Mehrzahl von Steuerungszielen des kombinierten Steuerungsziels eingerichtet ist; und
    • Ausführen der Mehrzahl der ausgewählten Aktionsauswahlregeln gemäß einem Ausführungsverhältnis, wobei das Ausführungsverhältnis für jede ausgewählte Auswahlregel einen zeitlichen Anteil an einer Gesamtausführungsdauer der Mehrzahl von ausgewählten Aktionsauswahlregeln bestimmt, und wobei eine Ausführung der Mehrzahl von Aktionsauswahlregeln gemäß dem Ausführungsverhältnis das kombinierte Steuerungsziel erfüllt.
  • Hierdurch kann der technische Vorteil erreicht werden, dass eine weitere Verbesserung des Steuerns des Schienenverkehrs bewirkt werden kann, in dem eine Berücksichtigung von kombinierten Steuerungszielen und eine entsprechende Optimierung des Schienenverkehrs bzgl. derartiger Steuerungsziele ermöglicht ist. Ein kombiniertes Steuerungsziel umfasst hierbei eine Mehrzahl von vorbestimmten Steuerungszielen, die jeweils mit einer entsprechenden Gewichtung in das kombinierte Steuerungsziel eingehen. Hiermit ist eine Steuerung des Schienenverkehrs bzgl. einer Mehrzahl von Steuerungszielen ermöglicht.
  • Ein kombiniertes Steuerungsziel ist im Sinne der Anmeldung durch eine Mehrzahl von wenigstens zwei vorbestimmten Steuerungszielen gegeben, die mit einer entsprechenden Gewichtung in das kombinierte Steuerungsziel eingehen. Ein Schienenverkehr kann somit beispielsweise simultan bzgl. der Steuerungsziele Energieverbrauch und Verspätungsreduzierung, beispielsweise in einem Verhältnis von 60 zu 40, angesteuert werden. Hierzu wird eine Mehrzahl von entsprechenden Aktionsauswahlregeln ausgewählt, die jeweils auf die einzelnen vorbestimmten Steuerungsziele des kombinierten Steuerungsziels optimiert sind, und gemäß eines Ausführungsverhältnisses ausgeführt. Das Ausführungsverhältnis ist hierbei derart ausgestaltet, dass die Ausführung der ausgewählten Aktionsauswahlregeln gemäß des Ausführungsverhältnisses zur Erfüllung des kombinierten Steuerungsziels führen.
  • Ein Ausführen einer Mehrzahl von Aktionsauswahlregeln gemäß einem Ausführungsverhältnis entspricht im Sinne der Anmeldung einer Ausführung der jeweils durch die einzelnen Aktionsauswahlregeln ermittelten Steuerungsaktionen gemäß des jeweiligen Ausführungsverhältnisses. Ein Ausführungsverhältnis beschreibt hierbei im Sinne der Anmeldung für jede entsprechend zu berücksichtigende Aktionsauswahlregel einen zeitlichen Anteil der jeweiligen Ausführung der Aktionsauswahlregel innerhalb eines vorbestimmten Ausführungszeitraums. Die Ausführung der einzelnen Steuerungsaktionen der verschiedenen Aktionsauswahlregeln gemäß des Ausführungsverhältnisses bedeutet im Sinne der Anmeldung, dass gemäß dem jeweiligen Ausführungsverhältnis der Schienenverkehr gemäß den jeweiligen Aktionsauswahlregeln angesteuert wird.
  • Nach einer Ausführungsform ist durch das Ausführungsverhältnis für jede Aktionsauswahlregel eine Ausführungsdauer und/oder eine zeitliche Abfolge der Mehrzahl von Aktionsauswahlregeln bestimmt.
  • Hierdurch kann der technische Vorteil erreicht werden, dass ein präzises und einfach zu bestimmendes Ausführungsverhältnis ermöglicht ist, in dem für jede Aktionsauswahlregel eine Ausführungsdauer innerhalb des jeweiligen Ausführungszeitraums und/oder für die Mehrzahl von beteiligten Aktionsauswahlregeln eine Ausführungsreihenfolge bestimmt wird.
  • Nach einer Ausführungsform ist durch das Ausführungsverhältnis für jede ausgewählte Aktionsauswahlregel eine Ausführungswahrscheinlichkeit bestimmt, gemäß der die Aktionsauswahlregel in einem Ausführungszeitraum auszuführen ist.
  • Hierdurch kann der technische Vorteil erreicht werden, dass ein präzises und einfach zu bestimmendes Ausführungsverhältnis bereitgestellt werden kann. Hierzu wird für jede beteiligte Aktionsauswahlregel eine Ausführungswahrscheinlichkeit einer Ausführung der jeweiligen Aktionsauswahlregel innerhalb eines entsprechenden Ausführungszeitraums bestimmt. Die Ausführungswahrscheinlichkeit beschreibt hierbei die Wahrscheinlichkeit, dass der Schienenverkehr gemäß den durch die jeweilige Aktionsauswahlregel bestimmten Steuerungsaktionen während eines vorbestimmten Zeitraums angesteuert wird.
  • Nach einer Ausführungsform werden die ausgewählten Aktionsauswahlregeln zyklisch ausgeführt, wobei der Schienenverkehr gemäß der durch die Aktionsauswahlregeln bestimmten Steuerungsaktionen zyklisch gesteuert wird.
  • Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise Steuerung des Schienenverkehrs ermöglicht ist.
  • Nach einer Ausführungsform wird das Auswählen und/oder das Ausführen der Aktionsauswahlregeln durch eine Zeitaufteilungsfunktion ausgeführt, wobei die Zeitaufteilungsfunktion durch maschinelles Lernen trainiert ist, für kombinierte Steuerungsziele entsprechende Ausführungsverhältnisse zu bestimmen.
  • Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise Auswahl der jeweiligen auszuführenden Steuerungsaktionen und eine präzise Bestimmung der jeweiligen Ausführungsverhältnisse ermöglicht ist. Durch die Zeitaufteilungsfunktion, die durch Techniken des maschinellen Lernens darauf trainiert ist, für beliebige kombinierte Steuerungsziele entsprechende Ausführungsverhältnisse der jeweiligen Aktionsauswahlregeln zu bestimmen, kann eine hochkomplexe Steuerung eines eine Vielzahl von Schienenfahrzeugen umfassenden Schienenverkehrs und eine Optimierung eines solchen in Bezug auf kombinierte Steuerungsziele präzise und zuverlässig erreicht werden. Die Verwendung der Techniken des maschinellen Lernens ermöglicht hierbei eine präzisere Bestimmung der entsprechenden Ausführungsverhältnisse und damit verbunden eine effektiviere und effizientere Steuerung des Schienenverkehrs.
  • Nach einer Ausführungsform sind die Zeitaufteilungsfunktion und/oder die Aktionsauswahlregeln durch bestärkendes Lernen trainiert.
  • Hierdurch kann der technische Vorteil erreicht werden, dass ein präzises und effizientes Training der zur Zeitaufteilungsfunktion bzw. der Aktionsauswahlregeln bereitgestellt werden kann.
  • Nach einer Ausführungsform wird das Training der Aktionsauswahlregeln und/oder der Zeitaufteilungsfunktion basierend auf Simulationsdaten ausgeführt, wobei die Simulationsdaten auf einer Simulation eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen basieren.
  • Hierdurch kann der technische Vorteil erreicht werden, dass ein effektives und effizientes Training der Aktionsauswahlregeln bzw. der Zeitaufteilungsfunktion ermöglicht ist. Darüber hinaus kann auf ein Generieren entsprechender Trainingsdaten durch tatsächlich durchgeführte Fahrten der Mehrzahl von Schienenfahrzeugen verzichtet werden.
  • Nach einer Ausführungsform umfasst das Training der Aktionsauswahlregeln und/oder der Zeitaufteilungsfunktion ein Maximieren von Belohnungsfunktionen, wobei die Belohnungsfunktionen Steuerungsziele und/oder kombinierte Steuerungsziele definieren.
  • Hierdurch kann der technische Vorteil erreicht werden, dass ein effektives und effizientes Training der Aktionsauswahlregeln bzw. der Zeitaufteilungsfunktion erreicht werden kann.
  • Nach einer Ausführungsform werden die Aktionsauswahlregeln und die Zeitaufteilungsfunktionen simultan trainiert.
  • Hierdurch kann der technische Vorteil erreicht werden, dass eine verbesserte Steuerung des Schienenverkehrs ermöglicht ist. Durch das simultane Training der Zeitaufteilungsfunktion und der Mehrzahl von Aktionsauswahlregeln in Bezug auf kombinierte Steuerungsziele kann erreicht werden, dass die einzelnen Steuerungsaktionen der verschiedenen Aktionsauswahlregeln auf das Zusammenspiel mit den jeweils anderen Steuerungsauswahlregeln angepasst werden können. Durch das Anpassen kann eine bessere Performance der Aktionsauswahlregeln erreicht werden, als dies bei einem individuellen Training der einzelnen Aktionsauswahlregeln auf individuelle Steuerungsziele und lediglich einer Kombination der individuell trainierten Aktionsauswahlregeln durch die Zeitaufteilungsfunktion zur Erfüllung eines kombinierten Steuerungsziels möglich wäre.
  • Nach einer Ausführungsform sind die Aktionsauswahlregeln und/oder die Zeitaufteilungsfunktion als neuronale Netze ausgebildet.
  • Hierdurch kann der technische Vorteil erreicht werden, dass eine leistungsfähige und robuste Ausgestaltung der Aktionsauswahlregeln bzw. Zeitaufteilungsfunktionen bereitgestellt werden kann.
  • Nach einer Ausführungsform umfassen Steuerungsziele: Minimierung eines Energieverbrauchs der Mehrzahl von Schienenfahrzeugen und/oder Minimierung von Energieverbräuchen einzelner Schienenfahrzeuge und/oder Minimierung einer Gesamtverspätung der Mehrzahl von Schienenfahrzeugen und/oder Minimierung einer Maximalverspätung einzelner Schienenfahrzeuge und/oder Minimierung einer quadratischen oder absoluten Abweichungssumme der Verspätungen bezüglich eines mittleren oder medianen Verspätungswerts der Mehrzahl von Schienenfahrzeugen.
  • Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise Steuerung des Schienenverkehrs ermöglicht ist, bei dem der Schienenverkehr bzgl. relevanter Steuerungsziele optimierbar ist.
  • Nach einer Ausführungsform umfassen die Steuerungsaktionen Ankunftszeiten und/oder Abfahrtszeiten und/oder Standzeiten der Mehrzahl von Schienenfahrzeugen an Haltestellen innerhalb des Schienenverkehrsnetzes.
  • Hierdurch kann der technische Vorteil erreicht werden, dass eine effiziente Steuerung des Schienenverkehrs unter Berücksichtigung von kombinierten Steuerungszielen ermöglicht ist. Durch die Berücksichtigung von Abfahrtszeiten und/oder Ankunftszeiten und/oder Standzeiten der Schienenfahrzeuge an Haltestellen innerhalb des Schienenverkehrsnetzes in den jeweiligen Steuerungsaktionen kann eine präzise Steuerung des Schienenverkehrs erreicht werden. Die entsprechenden Ankunftszeiten und/oder Abfahrtszeiten und/oder Standzeiten können hierbei in Relation zu einem vorbestimmten optimierten Fahrplan stehen. Eine Steuerung der einzelnen Schienenfahrzeuge des Schienenverkehrs kann hierbei derart ausgestaltet werden, dass die in den Steuerungsaktionen definierten Abfahrtszeiten und/oder Ankunftszeiten und/oder Standzeiten durch die jeweiligen Schienenfahrzeuge eingehalten werden.
  • Nach einem zweiten Aspekt wird eine Recheneinheit bereitgestellt, wobei die Recheneinheit ausgebildet ist, das Verfahren zum Steuern eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen nach einer der voranstehenden Ausführungsformen auszuführen.
  • Nach einem dritten Aspekt der Erfindung wird ein Computerprogrammprodukt umfassend Befehle bereitgestellt, die bei der Ausführung des Programms durch eine Datenverarbeitungseinheit diese veranlassen, das Verfahren zum Steuern eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen nach einer der voranstehenden Ausführungsformen auszuführen.
  • Die oben beschriebenen Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich durch die Erläuterungen der folgenden, stark vereinfachten, schematischen Darstellungen bevorzugter Ausführungsbeispiele. Hierbei zeigen jeweils:
    • FIG 1
    eine schematische Darstellung eines Systems zum Steuern eines Schienenverkehrs gemäß einer Ausführungsform;
    FIG 2
    ein Flussdiagramm eines Verfahrens zum Steuern eines Schienenverkehrs gemäß einer Ausführungsform;
    FIG 3
    ein Diagramm einer Optimierung eines Schienenverkehrs in Bezug auf zwei Steuerungsziele;
    FIG 4
    eine schematische Darstellung einer zeitlichen Ausführung von zwei Aktionsauswahlregeln gemäß einem Ausführungsverhältnis;
    FIG 5
    eine schematische Darstellung einer Architektur für eine Zeitaufteilungsfunktion gemäß einer Ausführungsform;
    FIG 6
    eine weitere schematische Darstellung einer Architektur für eine Zeitaufteilungsfunktion gemäß einer weiteren Ausführungsform;
    FIG 7
    ein Diagramm eines Hypervolumens eines Optimierungszustands eines Schienenverkehrs; und
    FIG 8
    eine schematische Darstellung eines Computerprogrammprodukts.
  • FIG 1 zeigt eine schematische Darstellung eines Systems 200 zur Optimierung eines Schienenverkehrs gemäß einer Ausführungsform.
  • Ein System 200 zur Optimierung eines Schienenverkehrs umfasst gemäß der gezeigten Ausführungsform eine Mehrzahl von Modulen, die auf einer Recheneinheit 201 ausführbar sind. Das System 200 kann ferner in ein Offline-Teilsystem 202 und ein Online-Teilsystem 204 aufgeteilt sein, wobei das Offline-Teilsystem 202 offline, sprich unabhängig von einem Betrieb der Schienenfahrzeuge 215, ausgeführt wird, während das Online-Teilsystem 204 während des Betriebs der Schienenfahrzeuge 215 ausgeführt wird.
  • Die zentrale Komponente des Offline-Teilsystems 202 ist ein Fahrplanoptimierungsmodul 211. Das Fahrplanoptimierungsmodul 211 dient dazu, für einen vorbestimmten Zeitraum einen optimierten Fahrplan für einen Schienenverkehr einer Mehrzahl von Schienenfahrzeugen eines Schienenverkehrsnetzes zu erstellen. Den im Offline-Teilsystem 202 erstellten optimierten Fahrplan kann das Fahrplanoptimierungsmodul 211 über eine erste Schnittstelle an das Online-Teilsystem 204 übertragen, damit der Fahrplan zur Steuerung des Schienenverkehrs ausgeführt werden kann.
  • Im tatsächlichen Betrieb des Schienenverkehrs wird der nun Online-Fahrplan genannte Fahrplan durch ein Fahrplanmanagementmodul 205 verwaltet. Hierzu können Positionsdaten einzelner Schienenfahrzeuge des Schienenverkehrs über ein automatisches Schienenfahrzeugverfolgungsmodul 207 über eine zweite Schnittstelle S2 an das Fahrplanmanagementmodul 205 übertragen werden, damit dieses einen Vergleich zwischen Soll-Bewegungen des Fahrplans und tatsächlich durch die Schienenfahrzeuge des Schienenverkehrs ausgeführte Ist-Bewegungen ausführen kann.
  • Das Fahrplanmanagementmodul 205 kann über eine dritte Schnittstelle S3 Befehle zur Auswahl entsprechend zu befahrender Schienenwege an ein automatisches Streckenauswahlmodul 209 übertragen. Somit können rechtzeitig entsprechende Schienenwege reserviert werden, um einen Betrieb der Schienenfahrzeuge mit minimalen Verspätungen zu gewährleisten.
  • Das Fahrplanmanagementmodul 205 weist ferner eine bidirektionale Schnittstelle S2, S4 mit einem automatischen Schienenfahrzeugregelungsmodul 203 auf. Für den Fall, dass der Online-Fahrplan geändert werden muss, entweder durch einen neuen Sollfahrplan des Fahrplanoptimierungsmoduls 211 oder durch Änderungen eines Fahrdienstleiters, kann das automatische Schienenfahrzeugregelungsmodul 203 entsprechend informiert werden, um eine Änderung des Online-Fahrplans zu bewirken. Hierzu benötigt das automatische Schienenfahrzeugregelungsmodul 203 ferner aktuelle Positionsdaten der Schienenfahrzeuge, um aktuelle Verspätungen der Schienenfahrzeuge ermitteln und bei größeren Abweichungen geeignete Regelungen einleiten zu können.
  • Diese Regelungen können entsprechende durch die Schienenfahrzeuge auszuführende Steuerungsaktionen umfassen, mit denen gewünschte bzw. zur Aufhebung der Verspätung und zur Änderung des Fahrplans durch die Schienenfahrzeuge zu erreichende bzw. einzuhaltende Abfahrtszeiten und/oder Ankunftszeiten und Haltezeiten der Schienenfahrzeuge an Haltestellen der Schienenwege des Schienenverkehrsnetzes umfassen. Die entsprechenden Regelungen und/oder Steuerungsaktionen können über eine fünfte Schnittstelle S5 an das Fahrplanmanagementmodul 205 übermittelt werden.
  • Abschließend werden zur Anpassung des Fahrplans die entsprechenden Regelungen und Steuerungsaktionen und die entsprechenden optimierten Ankunftszeiten/Abfahrtszeiten/Haltezeiten vom automatischen Fahrplanmanagementmodul 205 über eine sechste Schnittstelle S6 an automatische Schienenfahrzeugsteuerungsmodule 213 der einzelnen Schienenfahrzeuge 315 des Schienenverkehrs übermittelt, damit diese die gewünschten Änderung bzw. Steuerungsaktionen ausführen können, um die optimierten Ankunftszeiten/Abfahrtszeiten/Haltezeiten zu erreichen oder einzuhalten.
  • Im Falle von automatisch fahrenden Schienenfahrzeugen kann das automatische Schienenfahrzeugsteuerungsmodul 213 energieoptimierte Fahrtrajektorien des Schienenfahrzeugs 203 ermitteln, die am besten zum aktuellen Online-Fahrplan passen. Im Falle des manuellen Fahrens wird der Fahrzeugführer beraten, ist aber in der Umsetzung der Regelungen frei.
  • In der gezeigten Ausführungsform ist das automatische Schienenfahrzeugregelungsmodul 203 eingerichtet, basierend auf den Zustandsdaten eines zu optimierenden Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen das erfindungsgemäße Verfahren zum Steuern eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen 215 auszuführen.
  • FIG 2 zeigt ein Flussdiagramm eines Verfahrens 100 zum Steuern eines Schienenverkehrs gemäß einer Ausführungsform.
  • Das erfindungsgemäße Verfahren 100 zum Steuern eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen 215 kann durch ein System 200 gemäß der Ausführungsform in Figur 1 und insbesondere durch ein automatisches Schienenfahrzeugregelungsmodul 203 ausgeführt werden.
  • Zum Steuern eines Schienenverkehrs werden gemäß dem erfindungsgemäßen Verfahren 100 zunächst in einem Verfahrensschritt 101 Zustandsdaten des Schienenverkehrs der Mehrzahl von Schienenfahrzeugen 215 empfangen. Die Zustandsdaten beschreiben hierbei Zustände des Schienenverkehrs und umfassen wenigstens Positionsdaten der Mehrzahl von Schienenfahrzeugen, gemäß denen eine Positionierung der Schienenfahrzeuge innerhalb des Schienenverkehrsnetzes möglich ist. Die Zustandsdaten können darüber hinaus Steuerungskriterien des Schienenverkehrs, beispielsweise Energieverbräuche des Schienenverkehrs bzw. der einzelnen Schienenfahrzeuge oder Verspätungen der Schienenfahrzeuge sowohl als Gesamtheit als auch individuell und weitere relevante Kriterien zum Steuern eines Schienenverkehrs umfassen.
  • Das Verfahren kann während eines Betriebs des Schienenverkehrs ausgeführt werden, in dem die Schienenfahrzeuge entsprechend eines Fahrplans innerhalb des Verkehrsnetzes verfahren werden. Die Zustandsdaten beschreiben hierbei Zustände des Schienenverkehrs und beschreiben wenigstens die Positionen innerhalb des Verkehrsnetzes an denen sich Fahrzeuge zu einem bestimmten Zeitpunkt befinden. Die Zustandsdaten können ferner Zeitangaben umfassen, beispielsweise Verspätungszeiten der einzelnen Schienenfahrzeuge in Bezug auf einen optimierten Fahrplan.
  • In einem weiteren Verfahrensschritt 103 wird ein Steuerungsziel KPI1, KPI2, KPIN empfangen. Das Steuerungsziel kann hierbei beispielsweise durch einen Energieverbrauch der Gesamtheit der Schienenfahrzeuge oder eine Gesamtverspätung der Gesamtheit der Schienenfahrzeuge oder durch individuelle Verspätungen der einzelnen Schienenfahrzeuge gegeben sein.
  • Das Steuerungsziel KPI1, KPI2, KPIN kann während des Betriebs des Schienenverkehrs und somit während des Verfahrens der Schienenfahrzeuge innerhalb des Verkehrsnetzes empfangen werden. Dies ermöglicht eine Änderung eines Steuerungsziels KPI1, KPI2, KPIN während des online Betriebs des Schienenverkehrs. Das Steuerungsziel gibt hierbei ein Kriterium an, gemäß dem die Steuerung des Schienenverkehrs vorgenommen werden kann. Beispielsweise kann der Schienenverkehr derart angesteuert werden, dass ein Gesamtenergieverbrauch der Schienenfahrzeuge minimal ist. Alternativ kann der Schienenverkehr angesteuert werden, Verspätungen der Fahrzeuge zum Fahrplan zu vermeiden oder zu minimieren
  • In einem Verfahrensschritt 105 wird darauffolgend wenigstens eine Aktionsauswahlregel π1, π2, πN aus einer Mehrzahl vorgespeicherter Aktionsauswahregeln π1, π2, πN ausgewählt. Die Aktionsauswahlregeln π1, π2, πN sind eingerichtet, basierend auf Zustandsdaten des Schienenverkehrs Steuerungsaktionen zu ermitteln, die bei Ausführungen durch die Schienenfahrzeuge des Schienenverkehrs zu einer Optimierung des Schienenverkehrs bzgl. eines vorbestimmten Steuerungsziels KPI1, KPI2, KPIN führen. Die einzelnen Aktionsauswahlregeln π1, π2, πN sind bzgl. eines individuellen Steuerungsziels KPI1, KPI2, KPIN optimiert. Beispielsweise ist eine Aktionsauswahlregel π1, π2, πN auf eine Optimierung bzgl. eines Gesamtenergieverbrauchs des Schienenverkehrs optimiert, während eine weitere Aktionsauswahlregel bzgl. einer Minimierung einer Gesamtverspätung der Schienenfahrzeuge des Schienenverkehrs optimiert ist. Eine Optimierung einer Aktionsauswahlregel π1, π2, πN bzgl. eines Steuerungsziels KPI1, KPI2, KPIN ist derart zu verstehen, dass die jeweilige Aktionsauswahlregel π1, π2, πN eingerichtet ist, entsprechende Steuerungsaktionen zu bestimmen, die bei Ausführung durch die Schienenfahrzeuge zur Optimierung des Schienenverkehrs bzgl. des jeweiligen Steuerungsziels KPI1, KPI2, KPIN führen. Im Verfahrensschritt 105 wird demzufolge aus der Mehrzahl vorgespeicherter Aktionsauswahlregeln π1, π2, πN die Aktionsauswahlregel π1, π2, πN ausgewählt, die bzgl. des empfangenen Steuerungsziels KPI1, KPI2, KPIN optimiert ist.
  • Die durch die Aktionsauswahlregeln π1, π2, πN basierend auf den Zustandsdaten des Schienenverkehrs ermittelten Steuerungsaktionen können neben oder alternativ zu tatsächlichen Steuerbefehlen an die Schienenfahrzeuge Zeitvorgaben in Gestalt von Ankunfts-, Abfahrts- und/oder Standzeiten der Schienenfahrzeuge an Haltestellen des Verkehrsnetzes umfassen. Eine beispielsweise auf einen Energieverbrauch der Mehrzahl von Schienenfahrzeugen optimierte Aktionsauswahlregel π1, π2, πN ist somit eingerichtet, basierend auf den Zustandsdaten des Schienenverkehrs, in denen wenigstens die Positionen der Schienenfahrzeuge zu eine bestimmten Zeitpunkt beschrieben sind, Ankunfts-, Abfahrts- und/oder Standzeiten der Schienenfahrzeuge für in Zukunft anzusteuernde Haltestellen zu bestimmen, Ankunfts-, Abfahrts- und/oder Standzeiten derart ausgestaltet sind, dass bei Ansteuerung der Schienenfahrzeuge derart, dass ein Einhalten der Ankunfts-, Abfahrts- und/oder Standzeiten durch die Schienenfahrzeuge erreicht wird, ein Energieverbrauch der Schienenfahrzeuge minimiert wird.
  • Die entsprechend bestimmten Ankunfts-, Abfahrts- und/oder Standzeiten können hierbei für verschieden Steuerungsziele variieren. Beispielsweise kann es zur Reduzierung eines Energieverbrauchs vorteilhaft sein, ein Fahrzeug länger an einer Haltestelle halten zu lassen, um das Anfahren des Fahrzeugs mit dem Beschleunigen und/oder Bremsen andere Fahrzeuge zu synchronisieren. Für eine Reduzierung einer Verspätung der Schienenfahrzeuge können längere Standzeiten hingegen nicht förderlich sein, da hierdurch vielmehr weitere Verspätungen generiert würden. Die entsprechend ermittelten Ankunfts-, Abfahrts- und/oder Standzeiten hängen ferner von den Zustandsdaten des Schienenverkehrs und insbesondere von den Positionierungen der einzelnen Fahrzeuge ab.
  • In einem Verfahrensschritt 107 wird die wenigstens eine ausgewählte Aktionsauswahlregel π1, π2, πN auf die empfangenen Zustandsdaten des Schienenverkehrs ausgeführt und entsprechende Steuerungsaktionen ermittelt. Die ermittelten Steuerungsaktionen, beispielsweise die entsprechenden Ankunfts-, Abfahrts- und/oder Standzeiten, sind hierbei derart eingerichtet, dass bei entsprechender Ansteuerung der Fahrzeuge der Schienenverkehr in einen Zustand versetzt werden kann, der bezüglich des jeweiligen Steuerungsziel optimiert oder wenigstens verbessert ist gegenüber zeitlich früheren Zuständen. Beispielsweise kann in einem derart generierten Zustand eine Verspätung zum vorbestimmten Fahrplan reduziert oder ein Energieverbrauch verringert sein.
  • In einem Verfahrensschritt 109 werden die Steuerungsaktionen gemäß der Ausführungsform zu Figur 1 an die verschiedenen Module des Systems 200 bereitgestellt, so dass eine Steuerung des Schienenverkehrs ermöglicht ist. Die Steuerung umfasst hierbei, dass die Schienenfahrzeuge derart angesteuert werden, dass die im Verfahrensschritt ermittelten Ankunfts-, Abfahrts- und/oder Standzeiten durch die Fahrzeuge eingehalten werden. Die entsprechenden Ankunfts-, Abfahrts- und/oder Standzeiten können hierbei neben einer für ein jeweiliges Fahrzeug auf einer Fahrstrecke des Verkehrsnetzes unmittelbar vorausliegenden Haltestelle eine Mehrzahl von Haltestellen berücksichtigen, die durch das Fahrzeug auf der Fahrstrecke in einem vorbestimmten Zeitraum bei entsprechender Ansteuerung erreicht werden. Die entsprechenden Steuerungsaktionen können somit für ein Schienenfahrzeug einen Satz von Ankunfts-, Abfahrts- und/oder Standzeiten für eine Mehrzahl von Haltestellen umfassen.
  • Gemäß einer Ausführungsform wird in Verfahrensschritt 103 ein kombiniertes Steuerungsziel KPI empfangen. Das kombinierte Steuerungsziel KPI umfasst eine Mehrzahl der vorbestimmten Steuerungszielen KPI1, KPI2, KPIN, die jeweils mit individuellen Gewichtungen W1, W2, WN in das kombinierte Steuerungsziel KPI eingehen. Ein kombiniertes Steuerungsziel KPI kann somit beispielsweise eine simultane Optimierung bzgl. eines Energieverbrauchs und bzgl. einer Minimierung einer Gesamtverspätung des Schienenverkehrs umfassen, wobei die Optimierung bzgl. des Energieverbrauchs und die Optimierung bzgl. der Gesamtverspätung in einem beliebigen Verhältnis, beispielsweise 60 zu 40, in das kombinierte Steuerungsziel KPI eingehen können. Eine Steuerung kann somit derart erfolgen, dass beispielsweise zu 60% eine Reduzierung des Energieverbrauchs und zur 40% eine Reduzierung einer Verspätung erreicht werden. Die beschriebenen Steuerungsziele und die angegebenen Verhältnisse und Prozentangaben sind lediglich beispielhaft und stellen keine Einschränkung der Erfindung dar.
  • Im Verfahrensschritt 105 wird darauffolgend eine Mehrzahl von Aktionsauswahlregeln π1, π2, πN der vorgespeicherten Aktionsauswahlregeln π1, π2, πN ausgewählt. Die ausgewählten Aktionsauswahlregeln π1, π2, πN sind hierbei auf die entsprechenden Steuerungsziele KPI1, KPI2, KPIN des kombinierten Steuerungsziels KPI optimiert.
  • Im Verfahrensschritt 107 werden darauffolgend die Aktionsauswahlregeln π1, π2, πN der ausgewählten Mehrzahl gemäß einem Ausführungsverhältnis ausgeführt. Das Ausführungsverhältnis beschreibt hierbei für jede der ausgewählten Aktionsauswahlregeln π1, π2, πN einen zeitlichen Anteil an einer Gesamtausführungsdauer der Mehrzahl von ausgeführten Aktionsauswahlregeln π1, π2, πN und ermöglicht eine Erfüllung des kombinierten Steuerungsziels KPI durch Ausführung der ausgewählten Aktionsauswahlregeln π1, π2, πN gemäß des entsprechenden Ausführungsverhältnisses. Zum Steuern des Schienenverkehrs werden die Schienenfahrzeuge gemäß den durch die ausgewählten Aktionsauswahlregeln π1, π2, πN ermittelten Steuerungsaktionen in dem jeweiligen Ausführungsverhältnis angesteuert. Das Ausführungsverhältnis kann hierbei der Gewichtung der einzelnen Steuerungsziele KPI1, KPI2, KPIN des kombinierten Steuerungsziels KPI entsprechen, so dass der Schienenverkehr gemäß dem oben beschriebenen Beispiel beispielsweise zu 60 % eines Steuerungszeitraums gemäß einer Optimierung bzgl. eines Energieverbrauchs angesteuert wird und zu 40 % des Ausführungszeitraums gemäß einer Optimierung bzgl. einer Gesamtverspätung angesteuert wird. Die Ansteuerung der Schienenfahrzeuge erfolgt hierbei gemäß den durch die Aktionsauswahlregeln π1, π2, πN ermittelten Steuerungsaktionen. Das Ausführungsverhältnis kann jedoch auch von der jeweiligen Gewichtung W1, W2, WN der einzelnen Steuerungsziele KPI1, KPI2, KPIN des kombinierten Steuerungsziels KPI abweichen.
  • Das Ausführungsverhältnis kann hierbei gemäß einer Ausführungsform eine Ausführungsdauer t1, t2, tN für jede der einzelnen Aktionsauswahlregeln π1, π2, πN beschreiben und/oder eine zeitliche Abfolge der Mehrzahl von Aktionsauswahlregeln π1, π2, πN bestimmen. Der Schienenverkehr kann somit, dem oben beschriebenen Beispiel folgend, für eine entsprechend bestimmte Ausführungsdauer t1, t2 bzgl. des Energieverbrauchs optimiert und für eine entsprechende Ausführungsdauer t1, t2 bzgl. einer Gesamtverspätung optimiert. Die Ausführungsdauern t1, t2 können hierbei in entsprechende Zeitfenster aufgeteilt werden, so dass beispielswese abwechselnd der Schienenverkehr bzgl. des einen und darauffolgend bzgl. des anderen Steuerungsziels optimiert werden kann.
  • Das Ansteuern des Schienenverkehrs gemäß dem Ausführungsverhältnis und den entsprechend bestimmten Ausführungsdauern t1, t2, tN für die verschiedenen Aktionsauswahlregeln π1, π2, πN bedeutet hierbei, dass die Schienenfahrzeuge für eine Ausführungsdauer derart angesteuert werden, dass diese Ankunfts-, Abfahrts- und/oder Standzeiten erreichen oder einhalten, die geeignet sind, ein erstes Steuerungsziel zu erreichen, und für eine weitere Ausführungsdauer angesteuert werden, um andere Ankunfts-, Abfahrts- und/oder Standzeiten zu erreichen oder einzuhalten, die eingerichtet sind, ein weiteres Steuerungsziel des kombinierten Steuerungsziel zu erreichen.
  • Gemäß einer weiteren Ausführungsform kann das Ausführungsverhältnis für jede ausgewählte Aktionsauswahlregel π1, π2, πN eine Ausführungswahrscheinlichkeit P bestimmen, gemäß der die Aktionsauswahlregel π1, π2, πN in einem Ausführungszeitraum auszuführen ist. Gemäß dem Ausführungsverhältnis wird somit stochastisch bestimmt, zu welcher Wahrscheinlichkeit P jede Aktionsauswahlregel π1, π2, πN in einem entsprechenden Ausführungszeitraum auszuführen ist. Dies bedeutet, dass der Schienenverkehr gemäß der entsprechenden Ausführungswahrscheinlichkeit P während eines Ausführungszeitraums bzgl. des Energieverbrauchs bzw. der Gesamtverspätung optimiert werden kann. Eine Ausführungszeit kann beispielsweise durch eine Zykluszeit bei einer zyklischen Steuerung des Schienenverkehrs gegeben sein, so dass für jede Zykluszeit eines auszuführenden Zyklus der Steuerung des Schienenverkehrs gemäß den entsprechenden Ausführungswahrscheinlichkeiten P der Schienenverkehr bzgl. der jeweiligen Steuerungsziele KPI1, KPI2, KPIN optimiert werden kann.
  • Das Auswählen im Verfahrensschritt 105 und/oder das Ausführen im Verfahrensschritt 107 der Mehrzahl von Aktionsauswahlregeln π1, π2, πN kann durch eine Zeitaufteilungsfunktion 300 ausgeführt werden. Die Zeitaufteilungsfunktion 300 kann hierbei durch Techniken des maschinellen Lernens auf das Bestimmen entsprechender Ausführungsverhältnisse unter Berücksichtigung von kombinierten Steuerungszielen KPI zu bestimmen. Die Zeitaufteilungsfunktion 300 kann beispielsweise durch bestärkendes Lernen trainiert sein. Insbesondere kann die Zeitaufteilungsfunktion 300 durch ein entsprechendes trainiertes neuronales Netz 303 ausgebildet sein.
  • Entsprechend können die Aktionsauswahlregeln π1, π2, πN durch bestärkendes Lernen auf das Optimieren bzgl. der jeweiligen Steuerungsziele KPI1, KPI2, KPIN trainiert sein. Die Aktionsauswahlregeln π1, π2, πN können ebenfalls als entsprechend trainierte neuronale Netze ausgebildet sein.
  • Das Training der Zeitaufteilungsfunktion 300 bzw. der Aktionsauswahlregeln π1, π2, πN kann hierbei auf Simulationsdaten einer Simulation eines Schienenverkehrs basierend durchgeführt werden. Die Simulationsdaten können hierbei durch eine entsprechende Simulation, beispielsweise durch das Simulationsprogramm Falko, bereitgestellt werden.
  • Das Training der Aktionsauswahlregeln π1, π2, πN und/oder der Zeitaufteilungsfunktion 300 kann hierbei ein Maximieren einer Belohnungsfunktion umfassen, die entsprechend die jeweiligen Steuerungsziele KPI1, KPI2, KPIN oder kombinierten Steuerungsziele KPI umfassen.
  • Das Training der Aktionsauswahlregeln π1, π2, πN kann hierbei individuell durchgeführt werden, so dass jede Aktionsauswahlregel π1, π2, πN auf ein individuelles Steuerungsziel KPI1, KPI2, KPIN trainiert wird. Basierend auf den vortrainierten Aktionsauswahlregeln π1, π2, πN kann darauffolgend die Zeitaufteilungsfunktion 300 auf verschiedene kombinierten Steuerungsziele KPI, die jeweils unter Berücksichtigung verschiedener Gewichtungen W1, W2, WN die Steuerungsziele KPI1, KPI2, KPIN der einzelnen Aktionsauswahlregeln π1, π2, πN umfassen, auf das Bestimmen entsprechender Ausführungsverhältnisse trainiert werden.
  • Alternativ kann ein simultanes Training der Aktionsauswahlregeln π1, π2, πN und der Zeitaufteilungsfunktion 300 vorgenommen werden. Beim simultanen Training der Aktionsauswahlregeln π1, π2, πN und der Zeitaufteilungsfunktion 300 können somit die vortrainierten und auf die einzelnen Steuerungsziele KPI1, KPI2, KPIN optimierten Aktionsauswahlregeln π1, π2, πN auf die Erfüllung des kombinierten Steuerungsziels KPI trainiert werden, während die Zeitaufteilungsfunktion 300 trainiert wird, ein entsprechendes Ausführungsverhältnis zu bestimmen.
  • Das erfindungsgemäße Verfahren ist auf eine Vielzahl beliebiger Steuerungsziele KPI1, KPI2, KPIN und entsprechende kombinierte Steuerungsziele KPI und auf eine entsprechend beliebige Anzahl entsprechend trainierte Aktionsauswahlregeln π1, π2, πN anwendbar.
  • FIG 3 zeigt ein Diagramm einer Optimierung eines Schienenverkehrs in Bezug auf zwei Steuerungsziele (KPI1, KPI2, KPIN).
  • Figur 3 zeigt ein Diagramm einer Paretofront eines Schienenverkehrs, der bzgl. zwei Steuerungszielen KPI1, KPI2 gesteuert bzw. optimiert wird. Das Diagramm in Figur 3 zeigt hierbei eine prozentuale Optimierung O1 bzgl. des ersten Steuerungsziels KPI1 und eine prozentuale Optimierung O2 bzgl. des zweiten Steuerungsziels KPI2. Gezeigt sind mehrere optimierte Zustände Opt, Opt1, Opt2. Die dargestellten Punkte der Paretofront zeigen hierbei Optimierungen des Schienenverkehrs bzgl. der beiden Optimierungsziele KPI1, KPI2 für unterschiedliche Gewichtungen W2 des zweiten Steuerungsziels KPI2. Der Punkt Opt1 zeigt hierbei einen optimierten Zustand des Schienenverkehrs für eine Gewichtung W2 gleich 0 des zweiten Steuerungsziels KPI2, sodass der Schienenverkehr im gezeigten Optimierungszustand Opt1 zu 100 % bzgl. des ersten Steuerungsziels KPI1 optimiert ist. Der optimierte Zustande Opt2 zeigt hingegen eine Optimierung des Schienenverkehrs für eine Gewichtung W2 gleich 100 des zweiten Steuerungsziels KPI2, so dass in diesem optimierten Zustand der Schienenverkehr ausschließlich auf Optimierung bzgl. des zweiten Steuerungsziels KPI2 optimiert ist. Die weiteren optimierte Zustände zeigen verschiedene Verhältnisse der zwei Steuerungsziele KPI1, KPI2, die gemäß den jeweiligen Gewichtungen W1, W2 in einem kombinierten Steuerungsziel KPI zusammengefasst sind.
  • Im gezeigten Diagramm ist eine Optimierung des Schienenverkehrs bzgl. eines Referenzzustands Ref dargestellt, so dass die prozentualen Optimierungen O1, O2 als Verbesserungen des Schienenverkehrs bzgl. der ersten und zweiten Steuerungsziele KPI1, KPI2 in Bezug auf den Referenzzustand Ref darstellt.
  • Die gezeigten Zahlenwerte sind lediglich beispielhaft und stellen keine tatsächliche Optimierung eines Schienenverkehrs dar. Der dargestellte Optimierungsprozess des Schienenverkehrs kann beispielsweise eine Situation beschreiben, in der durch Betrieb der Schienenfahrzeuge der Schienenverkehr von einem vorbestimmten optimierten Fahrplan abgewichen ist, und somit durch Ausführung des erfindungsgemäßen Verfahrens und durch entsprechende Optimierung des Schienenverkehrs bzgl. der jeweiligen Steuerungsziele KPI1, KPI2, KPIN eine Verbesserung bzw. Zurückführung des Schienenverkehrs zu dem vorbestimmten optimierten Fahrplan unter Berücksichtigung der jeweiligen Steuerungsziele bewirkt werden soll.
  • FIG 4 zeigt eine schematische Darstellung einer zeitlichen Ausführung von zwei Aktionsauswahlregeln (π1, π2) gemäß einem Ausführungsverhältnis.
  • Figur 4 zeigt einen zeitlichen Verlauf einer Ausführung von zwei Aktionsauswahlregeln π1, π2, über einen Ausführungszeitraum, der in der gezeigten Ausführungsform durch eine Zykluszeit tc gegeben ist. In der gezeigten Ausführungsform wird die erste Aktionsauswahlregel π1, jeweils für eine erste Ausführungsdauer t1 ausgeführt, während die zweite Aktionsauswahlregel π2 darauffolgend für eine zweite Ausführungsdauer t2 ausgeführt wird. In der gezeigten Ausführungsform ist der Ausführungszeitraum der Zykluszeit tc jeweils in einzelne Zeitabschnitte ts ausgeführt. Die Aktionsauswahlregeln π1, π2, werden jeweils in den Zeitabschnitten ts ausgeführt und bewirken somit gemäß den jeweiligen Steuerungsaktionen Übergänge des Schienenverkehrs in verschiedene Zustände St, St+1, ..., St+9. Die Darstellung in Figur 4 zeigt ein Beispiel für ein Ausführungsverhältnis, in dem jeder Aktionsauswahlregel π1, π2, eine entsprechende Ausführungsdauer t1, t2 zugewiesen ist.
  • Alternativ hierzu können den gezeigten ersten und zweiten Aktionsauswahlregeln π1, π2 entsprechende Ausführungswahrscheinlichkeiten P zugeordnet werden, so dass die Aktionsauswahlregeln π1, π2 in den einzelnen Zeitabschnitten ts gemäß den jeweils zugeordneten Ausführungswahrscheinlichkeiten P ausgeführt werden.
  • FIG 5 zeigt eine schematische Darstellung einer Architektur für eine Zeitaufteilungsfunktion 300 gemäß einer Ausführungsform.
  • Figur 5 zeigt eine Architektur einer Zeitaufteilungsfunktion 300 zur Ausführung und Steuerung eines Schienenverkehrs. In der gezeigten Ausführungsfunktion wird die Zeitaufteilungsfunktion 300 zur Steuerung des Schienenverkehrs auf ein kombiniertes Steuerungsziel KPI angewendet, das mit den entsprechenden Gewichtungen W1, W2, WN versehene Steuerungsziele KPI1, KPI2, KPIN umfasst. Die Zeitaufteilungsfunktion 300 ist hierbei eingerichtet, ein Ausführungsverhältnis gemäß der in Figur 4 gezeigten Ausführungsform zu generieren, das für jede Aktionsauswahlregel π1, π2, πN eine entsprechende Ausführungsdauer ermittelt.
  • In der gezeigten Ausführungsform umfasst die Zeitaufteilungsfunktion 300 ein Zeitaufteilungsmodul 301 und ein Auswahlmodul 302. Das Zeitaufteilungsmodul 301 ist dazu eingerichtet, für kombinierte Steuerungsziele KPI entsprechende Ausführungsverhältnisse zu bestimmen. Das Auswahlmodul 302 ist ferner eingerichtet, basierend auf den bestimmten Ausführungsverhältnissen die jeweiligen Aktionsauswahlregeln π1, π2, πN auszuwählen. In der gezeigten Ausführungsform ist das Zeitaufteilungsmodul 301 als neuronales Netz 303 ausgebildet. Das Auswahlmodul 302 umfasst ferner in der gezeigten Ausführungsform eine Argmax-Funktion, die eingerichtet ist, die jeweiligen Aktionsauswahlregeln π1, π2, πN auszuwählen.
  • Neben den mit den Gewichtungen W1, W2, WN versehenen Steuerungsziele KPI1, KPI2, KPIN geht ferner ein Modulationsoperator mod als Aktivierungsfunktion in das neuronale Netz 303 des Zeitaufteilungsmoduls 301 ein. Der Modulationsoperator mod ermöglicht hierbei eine Berücksichtigung der Aufteilung der Zykluszeit tc als Ausführungszeitraum in die in Figur 4 dargestellten Zeitabschnitte ts. Abweichend zu der gezeigten Ausführungsform kann der Modulationsoperator mod als Aktivierungsfunktion auch in tieferen Schichten des neuronalen Netzes angeordnet sein. Insgesamt sind die in den Figuren 5, 6 gezeigten Strukturen der neuronalen Netze lediglich beispielhaft und beschreiben keine Strukturen tatsächlich ausführbarer neuronaler Netze.
  • In der gezeigten Architektur ist die Zeitaufteilungsfunktion 300 darauf trainiert, für beliebige kombinierte Steuerungsziele KPI ein entsprechendes Ausführungsverhältnis zu bestimmen, gemäß dem auf die einzelnen Steuerungsziele KPI1, KPI2, KPIN optimierten Aktionsauswahlregeln π1, π2, πN auszuführen sind.
  • Zur Ausführung der Zeitaufteilungsfunktion 300 und der Aktionsauswahlregeln π1, π2, πN zum Steuern eines Schienenverkehrs gemäß dem erfindungsgemäßen Verfahren 100, werden während des Betriebs des Schienenverkehrs und während des Verfahrens der Mehrzahl von Schienenfahrzeugen Zustandsdaten der Schienenfahrzeuge empfangen. Die Zustandsdaten können hierbei beispielsweise besagen, dass ein aktueller Zustand des Schienenverkehrs von einem vorbestimmten Fahrplan abweicht.
  • Eine Steuerung des Schienenverkehrs kann somit vorsehen, den Schienenverkehr wieder in Übereinstimmung mit dem optimierten Fahrplan zu bringen und entsprechend die Verspätungen zu reduzieren. Diese Ansteuerung kann bezüglich verschiedener Steuerungsziele KPI1, KPI2, KPIN angestrebt werden. Beispielsweise kann die Steuerung des Schienenverkehrs möglichst energiesparend angestrebt werden. Alternativ kann eine möglichst schnelle Reduktion der Verspätungen angestrebt werden.
  • In der gezeigten Ausführungsform wird die Steuerung des Schienenverkehrs unter Berücksichtigung eines kombinierten Steuerungsziels KPI angestrebt, das eine Mehrzahl von Steuerungszielen KPI1, KPI2, KPIN in einer bestimmten Gewichtung umfasst. Beispielsweise kann die Steuerung des Schienenverkehrs derart angestrebt werden, dass die Wiederherstellung des optimalen Fahrplans unter Berücksichtigung eines minimierten Energieverbrauchs und unter Berücksichtigung einer möglichst geringen Zeit bis zur erneuten Übereinstimmung mit dem optimierten Fahrplan erfolgt.
  • Zur Steuerung des Schienenverkehrs wird demnach ein entsprechendes kombiniertes Steuerungsziel KPI empfangen, das die jeweiligen angestrebten Steuerungsziele KPI1, KPI2, KPIN mit entsprechenden Gewichtungen umfasst, wobei die Gewichtungen W1, W2, WN für jedes KPI1, KPI2, KPIN eine Priorisierung innerhalb der Ansteuerung des Schienenverkehrs beschreiben.
  • Zur Steuerung wird die Zeitaufteilungsfunktion 300 auf das empfangene kombinierte Steuerungsziel KPI angewendet und ein entsprechendes Ausführungsverhältnis ermittelt. Das Ausführungsverhältnis gibt hierbei ein Verhältnis an, gemäß dem die zu den jeweiligen Steuerungszielen KPI1, KPI2, KPIN gehörigen bzw. auf diese optimierten Aktionsauswahlregeln π1, π2, πN auszuführen sind und gemäß dem der Schienenverkehr bezüglich der jeweiligen Steuerungsaktionen der Aktionsauswahlregeln π1, π2, πN anzusteuern ist.
  • Gemäß dem ermittelten Ausführungsverhältnis werden durch das Auswahlmodul 302 die entsprechenden Aktionsauswahlregeln π1, π2, πN ausgewählt und die ausgewählten Aktionsauswahlregeln π1, π2, πN auf die empfangenen Zustandsdaten des Schienenverkehrs angewendet. Das Anwenden der Aktionsauswahlregeln π1, π2, πN auf die Zustandsdaten umfasst wie oben beschrieben das Ermitteln entsprechender Steuerungsaktionen und gegebenenfalls entsprechender Ankunfts-, Abfahrts- und Standzeiten, die auf die jeweiligen Steuerungsziele optimiert sind. Jede Aktionsauswahlregel π1, π2, πN und die entsprechend durch diese ermittelbaren Steuerungsaktionen sind auf eines der Steuerungsziele optimiert.
  • Durch eine Ausführung einer Aktionsauswahlregel π1, π2, πN auf die Zustandsdaten des Schienenverkehrs ist die Aktionsauswahlregel π1, π2, πN in der Lage, Steuerungsaktionen zu bestimmen, die eingerichtet sind, bei Ausführung durch die Schienenfahrzeuge den Schienenverkehr aus einem aktuellen Zustand in einen Zustand zu überführen, der bezüglich des jeweiligen Steuerungsziels optimiert oder zumindest gegenüber dem zeitlichen vorangegangenen Zustand verbessert ist.
  • Das Ausführungsverhältnis beschreibt in der gezeigten Ausführungsform ein zeitliches Verhältnis, das jeder beteiligten Aktionsauswahlregeln π1, π2, πN eine Ausführungsdauer zuordnet, die den Zeitabschnitt angibt, während dem die jeweilige Aktionsauswahlregeln π1, π2, πN auszuführen ist. Das zeitliche Verhältnis ist hierbei derart eingerichtet, dass das jeweilige kombinierte Steuerungsziel KPI erreicht wird.
  • Die Steuerung des Schienenverkehrs kann zyklisch ausgeführt werden, sodass gemäß vorbestimmter Steuerzyklen Zustandsdaten und Steuerungsziele empfangen werden, die Zeitaufteilungsfunktion 300 auf die Steuerungsziele angewendet und entsprechende Ausführungsverhältnisse ermittelt werden, die entsprechenden Aktionsauswahlregeln π1, π2, πN gemäß der jeweiligen Ausführungsverhältnisse auf die empfangenen Zustandsdaten ausgeführt, entsprechende Steuerungsaktionen ermittelt werden und die Schienenfahrzeuge gemäß der Steuerungsaktionen angesteuert werden und der Schienenverkehr somit in einen bezüglich des jeweiligen Steuerungsziels optimierten oder wenigstens verbesserten Zustand überführt wird.
  • Die gezeigte Darstellung der Zeitaufteilungsfunktion 300 ist lediglich beispielhaft. Das darstellte neuronale Netz 301 stellt kein tatsächlich auszuführendes neuronales Netz dar.
  • FIG 6 zeigt eine weitere schematische Darstellung einer Trainingsarchitektur für eine Zeitaufteilungsfunktion 300 gemäß einer weiteren Ausführungsform.
  • Figur 6 zeigt eine weitere Ausführungsform einer Architektur für eine Zeitaufteilungsfunktion 300. In der gezeigten Ausführungsform ist die Zeitaufteilungsfunktion 300 darauf trainiert, ein Ausführungsverhältnis zu bestimmen, das für jede Aktionsauswahlregel π1, π2, πN entsprechende Ausführungswahrscheinlichkeiten P ermittelt. Abweichend zu der Ausführungsform in Figur 5 umfasst das Auswahlmodul 300 eine Softmax-Funktion 305, die eingerichtet ist, basierend auf den durch das Zeitaufteilungsmodul 301 bestimmten Ausführungswahrscheinlichkeiten P die entsprechenden Aktionsauswahlregeln π1, π2, πN auszuwählen.
  • Die Ausführung der Architektur erfolgt analog zur Ausführung der Architektur in Fig. 6. Anstelle der dort beschriebenen Ausführungsdauer werden in der in Fig. 7 dargestellten Architektur jedoch die verschiedenen Aktionsauswahlregeln für vorbestimmte Zeitabschnitte gemäß der durch Zeitaufteilungsfunktion 300 bestimmten Ausführungswahrscheinlichkeiten P ausgeführt.
  • FIG 7 zeigt ein Diagramm eines Hypervolumens HV eines Optimierungszustands eines Schienenverkehrs.
  • Figur 7 zeigt eine graphische Darstellung eines Hypervolumens HV für verschiedene optimierte Zustände eines bzgl. zweier Steuerungsziele KPI1, KPI2 zu optimierendem Schienenverkehr. Das Hypervolumen kann hierbei als objektive Größe zur Bestimmung der Güte eines Trainingsprozesses bzw. der Güte der Optimierungsfähigkeiten der einzelnen Aktionsauswahlregeln π1, π2, πN bzw. der Zeitaufteilungsfunktion 300 dienen.
  • FIG 8 zeigt eine schematische Darstellung eines Computerprogrammprodukts 40, umfassend Befehle, die bei der Ausführung des Programms durch eine Recheneinheit dieses veranlassen, das Verfahren 100 nach einer der oben genannten Ausführungsformen auszuführen.
  • Das Computerprogrammprodukt 400 ist in der gezeigten Ausführungsform auf einem Speichermedium 401 gespeichert. Das Speichermedium 401 kann hierbei ein beliebiges aus dem Stand der Technik bekanntes Speichermedium sein.
  • Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.

Claims (15)

  1. Verfahren (100) zum Steuern eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen (215), umfassend:
    - Empfangen (101) von Zustandsdaten des Schienenverkehrs, wobei die Zustandsdaten Steuerungszustände des Schienenverkehrs der Mehrzahl von Schienenfahrzeugen (215) beschreiben und wenigstens Positionsdaten der Mehrzahl von Schienenfahrzeugen umfassen;
    - Empfangen (103) eines Steuerungsziels (KPI1, KPI2, KPIN) zum Steuern des Schienenverkehrs der Mehrzahl von Schienenfahrzeugen (215);
    - Auswählen (105) wenigstens einer Aktionsauswahlregel (π1, π2, πN) aus einer Mehrzahl von Aktionsauswahlregeln (π1, π2, πN) basierend auf dem Steuerungsziel (KPI1, KPI2, KPIN), wobei die Aktionsauswahlregeln (π1, π2, πN) eingerichtet sind, basierend auf Zustandsdaten des Schienenverkehrs Steuerungsaktionen des Schienenverkehrs zu ermitteln, wobei durch Ausführung der Steuerungsaktionen durch die Schienenfahrzeuge (215) der Schienenverkehr in einen bezüglich eines Steuerungsziels (KPI1, KPI2, KPIN) optimierten Zustand überführbar ist, wobei jede Aktionsauswahlregel (π1, π2, πN) für die Optimierung bezüglich eines individuellen Steuerungsziels (KPI1, KPI2, KPIN) eingerichtet ist, und wobei die wenigstens eine ausgewählte Aktionsauswahlregel (π1, π2, πN) für eine Optimierung bezüglich des empfangenen Steuerungsziels (KPI1, KPI2, KPIN) eingerichtet ist;
    - Ausführen (107) der wenigstens einen ausgewählten Aktionsauswahlregel (π1, π2, πN) auf die empfangenen Zustandsdaten und Ermitteln von Steuerungsaktionen; und
    - Bereitstellen (109) der Steuerungsaktionen zum Ansteuern der Mehrzahl von Schienenfahrzeugen (215).
  2. Verfahren (100) nach Anspruch 1, wobei das empfangene Steuerungsziel (KPI1, KPI2, KPIN) ein kombiniertes Steuerungsziel (KPI) ist und eine Mehrzahl von Steuerungszielen (KPI1, KPI2, KPIN) umfasst, und wobei die Steuerungsziele (KPI1, KPI2, KPIN) mit individuellen Gewichtungen (W1, W2, WN) in das kombinierte Steuerungsziel (KPI) eingehen; umfassend:
    - Auswählen (105) einer Mehrzahl von Aktionsauswahlregeln (π1, π2, πN), wobei jede Aktionsauswahlregel (π1, π2, πN) jeweils auf eine Optimierung bezüglich eines der Mehrzahl von Steuerungszielen (KPI1, KPI2, KPIN) des kombinierten Steuerungsziels (KPI) eingerichtet ist; und
    - Ausführen (107) der Mehrzahl der ausgewählten Aktionsauswahlregeln (π1, π2, πN) gemäß einem Ausführungsverhältnis, wobei das Ausführungsverhältnis für jede ausgewählte Aktionsauswahlregel (π1, π2, πN) einen zeitlichen Anteil an einer Gesamtausführungsdauer der Mehrzahl von ausgewählten Aktionsauswahlregeln (π1, π2, πN) bestimmt, und wobei eine Ausführung der Mehrzahl von Aktionsauswahlregeln gemäß dem Ausführungsverhältnis das kombinierte Steuerungsziel (KPI) erfüllt.
  3. Verfahren (100) nach Anspruch 2, wobei durch das Ausführungsverhältnis für jede Aktionsauswahlregel (π1, π2, πN) eine Ausführungsdauer (t1, t2) und/oder eine zeitliche Abfolge der Mehrzahl von Aktionsauswahlregeln (π1, π2, πN) bestimmt ist.
  4. Verfahren (100) nach Anspruch 2, wobei durch das Ausführungsverhältnis für jede ausgewählte Aktionsauswahlregel (π1, π2, πN) eine Ausführungswahrscheinlichkeit (P) bestimmt ist, gemäß der die Aktionsauswahlregel (π1, π2, πN) in einem Ausführungszeitraum auszuführen ist.
  5. Verfahren (100) nach einem der voranstehenden Ansprüche 2 bis 4, wobei die ausgewählten Aktionsauswahlregeln (π1, π2, πN) zyklisch ausgeführt werden, und wobei der Schienenverkehr gemäß der durch die Aktionsauswahlregeln (π1, π2, πN) bestimmten Steuerungsaktionen zyklisch gesteuert wird.
  6. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei das Auswählen und/oder das Ausführen der Aktionsauswahlregeln (π1, π2, πN) durch eine Zeitaufteilungsfunktion (300) ausgeführt wird, und wobei die Zeitaufteilungsfunktion (200) durch maschinelles Lernen trainiert ist, für kombinierte Steuerungsziele (KPI) entsprechende Ausführungsverhältnisse zu bestimmen.
  7. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei die Zeitaufteilungsfunktion (200) und/oder die Aktionsauswahlregeln (π1, π2, πN) durch bestärkendes Lernen trainiert sind.
  8. Verfahren (100) nach Anspruch 7, wobei das Training der Aktionsauswahlregeln (π1, π2, πN) und/oder der Zeitaufteilungsfunktion (300) basierend auf Simulationsdaten ausgeführt wird, und wobei die Simulationsdaten auf einer Simulation eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen (215) basieren.
  9. Verfahren (100) nach Anspruch 7 oder 8, wobei das Training der Aktionsauswahlregeln (π1, π2, πN) und/oder der Zeitaufteilungsfunktion (300) ein Maximieren von Belohnungsfunktionen umfasst, und wobei die Belohnungsfunktionen Steuerungsziele (KPI1, KPI2, KPIN) und/oder kombinierte Steuerungsziele (KPI) definieren.
  10. Verfahren (100) nach Anspruch 7, 8 oder 9, wobei die Aktionsauswahlregeln (π1, π2, πN) und die Zeitaufteilungsfunktionen (300) simultan trainiert werden.
  11. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei die Aktionsauswahlregeln (π1, π2, πN) und/oder die Zeitaufteilungsfunktion (300) als neuronale Netze (303) ausgebildet sind.
  12. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei Steuerungsziele (KPI1, KPI2, KPIN) umfassen: Minimierung eines Energieverbrauchs der Mehrzahl von Schienenfahrzeugen (215) und/oder Minimierung von Energieverbräuchen einzelner Schienenfahrzeuge (215) und/oder Minimierung einer Gesamtverspätung der Mehrzahl von Schienenfahrzeugen (215) und/oder Minimierung einer Maximalverspätung einzelner Schienenfahrzeuge (215) und/oder Minimierung einer quadratischen oder absoluten Abweichungssumme der Verspätungen bezüglich eines mittleren oder medianen Verspätungswerts der Mehrzahl von Schienenfahrzeugen (215).
  13. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei die Steuerungsaktionen Ankunftszeiten und/oder Abfahrtszeiten und/oder Standzeiten der Mehrzahl von Schienenfahrzeugen (215) an Haltestellen innerhalb des Schienenverkehrsnetzes umfassen.
  14. Recheneinheit (201), wobei die Recheneinheit (201) ausgebildet ist, das Verfahren (100) zum Steuern eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen nach einem der voranstehenden Ansprüche 1 bis 13 auszuführen.
  15. Computerprogrammprodukt (400) umfassend Befehle, die bei der Ausführung des Programms durch eine Datenverarbeitungseinheit diese veranlassen, das Verfahren (100) zum Steuern eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen nach einem der voranstehenden Ansprüche 1 bis 13 auszuführen.
EP21170890.4A 2021-04-28 2021-04-28 Verfahren zum steuern eines schienenverkehrs einer mehrzahl von schienenfahrzeugen Pending EP4082869A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP21170890.4A EP4082869A1 (de) 2021-04-28 2021-04-28 Verfahren zum steuern eines schienenverkehrs einer mehrzahl von schienenfahrzeugen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP21170890.4A EP4082869A1 (de) 2021-04-28 2021-04-28 Verfahren zum steuern eines schienenverkehrs einer mehrzahl von schienenfahrzeugen

Publications (1)

Publication Number Publication Date
EP4082869A1 true EP4082869A1 (de) 2022-11-02

Family

ID=75728682

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21170890.4A Pending EP4082869A1 (de) 2021-04-28 2021-04-28 Verfahren zum steuern eines schienenverkehrs einer mehrzahl von schienenfahrzeugen

Country Status (1)

Country Link
EP (1) EP4082869A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6459964B1 (en) * 1994-09-01 2002-10-01 G.E. Harris Railway Electronics, L.L.C. Train schedule repairer
EP2619067B1 (de) * 2010-09-20 2019-10-30 Siemens Mobility GmbH Verfahren zur automatischen steuerung einer mehrzahl spurgebundener fahrzeuge
WO2020043397A1 (de) * 2018-08-31 2020-03-05 Siemens Mobility GmbH Energieoptimierung beim betreiben einer schienenfahrzeugflotte

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6459964B1 (en) * 1994-09-01 2002-10-01 G.E. Harris Railway Electronics, L.L.C. Train schedule repairer
EP2619067B1 (de) * 2010-09-20 2019-10-30 Siemens Mobility GmbH Verfahren zur automatischen steuerung einer mehrzahl spurgebundener fahrzeuge
WO2020043397A1 (de) * 2018-08-31 2020-03-05 Siemens Mobility GmbH Energieoptimierung beim betreiben einer schienenfahrzeugflotte

Similar Documents

Publication Publication Date Title
EP3371669B1 (de) Verfahren und vorrichtung zum dezentralen abstimmen von fahrmanövern
EP3903160B1 (de) Verfahren zum zumindest teilautomatisierten führen eines kraftfahrzeugs
DE102015113144A1 (de) System und Verfahren zum Betreiben eines Fahrzeugs
EP3704573B1 (de) Verfahren zum durchführen eines softwareupdates in einem steuergerät eines kraftfahrzeugs sowie entsprechend eingerichtetes kraftfahrzeug
DE102009008142A1 (de) Verfahren zur Steuerung eines Fahrerassistenzsystems und Fahrerassistenzsystem
EP3957094B1 (de) Verfahren zur kontrolle einer fahrzeugkolonne mittels fahrzeug-zu-fahrzeug-kommunikation
DE102014215244A1 (de) Kollisionsfreie Quer-/Längsführung eines Fahrzeugs
EP3746344B1 (de) Steuerungssystem für ein kraftfahrzeug zum koordinieren und ausführen von kundenfunktionen, verfahren zum betreiben eines derartigen steuerungssystems sowie kraftfahrzeug mit einem derartigen steuerungssystem
DE102011005844A1 (de) Automatische Steuerung eines Fahrzeugs
EP3496065A1 (de) System und verfahren zum verringern von wartezeiten im strassenverkehr
WO2013135763A1 (de) Verfahren zum erzeugen von handlungsempfehlungssignalen für den führer eines schienenfahrzeugs oder von steuersignalen für das schienenfahrzeug mittels eines fahrerassistenzsystems und fahrerassistenzsystem
DE102018211575A1 (de) Verfahren zum Betrieb eines elektrischen Bordnetzes eines Kraftfahrzeugs und Kraftfahrzeug
EP3170054A1 (de) Schienenfahrzeug mit einer ereignisgesteuerten führerstandanzeigevorrichtung
DE102020102328A1 (de) Verfahren und Assistenzsystem zur Fahrzeugsteuerung und Kraftfahrzeug
WO2020069812A1 (de) Verfahren zum zumindest teilautomatisierten führen eines kraftfahrzeugs auf einer fahrbahn
EP3728095B1 (de) Verfahren und aufzugsteuerung zum steuern einer aufzuggruppe mit einer mehrzahl von aufzügen basierend auf zielrufen
EP4035969A1 (de) Verfahren zum trainieren einer steuerung für ein schienenfahrzeug, steuerung und schienenfahrzeug
EP4082869A1 (de) Verfahren zum steuern eines schienenverkehrs einer mehrzahl von schienenfahrzeugen
EP4063229A1 (de) Verfahren zum optimieren eines schienenverkehrs eines schienenverkehrsnetzes
EP4082868A1 (de) Verfahren zum optimieren eines schienenverkehrs eines schienenverkehrsnetzes
WO2022090040A1 (de) Verfahren und vorrichtung zum steuern eines fahrzeugs entlang einer fahrttrajektorie
DE102018210958B4 (de) Verfahren und Backendvorrichtung zum Einstellen eines vorbestimmten Flottenkennwerts einer Fahrzeugflotte
DE102016209779A1 (de) Verfahren und Vorrichtung zur Planung von Diagnosen
DE102019125817A1 (de) Verfahren zur Planung einer oder mehrerer Trajektorien eines Fahrzeugs und System zum Durchführen des Verfahrens
AT515134A1 (de) Kraftfahrzeug

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221118

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR