EP4112420A1 - Verfahren zum erkennen eines sicherheitsrelevanten ereignisses innerhalb einer fahrgastkabine eines schienenfahrzeugs - Google Patents

Verfahren zum erkennen eines sicherheitsrelevanten ereignisses innerhalb einer fahrgastkabine eines schienenfahrzeugs Download PDF

Info

Publication number
EP4112420A1
EP4112420A1 EP22173166.4A EP22173166A EP4112420A1 EP 4112420 A1 EP4112420 A1 EP 4112420A1 EP 22173166 A EP22173166 A EP 22173166A EP 4112420 A1 EP4112420 A1 EP 4112420A1
Authority
EP
European Patent Office
Prior art keywords
optical flow
safety
image data
passenger cabin
rail vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22173166.4A
Other languages
English (en)
French (fr)
Inventor
Albi Sema
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Publication of EP4112420A1 publication Critical patent/EP4112420A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0081—On-board diagnosis or maintenance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle

Definitions

  • the invention relates to a method for detecting a safety-relevant event within a passenger cabin of a rail vehicle.
  • Safety on board is a challenge that must be guaranteed, especially for rail vehicles in local passenger transport.
  • Public transport safety involves not only intelligent driving, but also ensuring that any dangerous situations on board are detected and reported in real time.
  • the object of the invention is to provide an improved method for detecting a safety-relevant event within a passenger cabin of a rail vehicle.
  • an improved method for detecting a safety-relevant event within a passenger cabin of a rail vehicle can be provided.
  • an optical flow of the recorded image data is determined in order to identify a characteristic speed pattern of a safety-relevant event based on the optical flow.
  • the safety-relevant event is characterized here by a safety-endangering movement of an object within the passenger cabin.
  • the detection of the safety-relevant event is independent of the respective positioning of the movement of the object within the passenger cabin. Since the detection of the safety-relevant event is not based on the detection of the actual action or the actual action but is only brought about indirectly by determining a correspondingly characteristic speed pattern, the position within the image data or the passenger cabin in which the characteristic speed pattern is detected plays a subordinate role Role. This allows increased flexibility and precision in the detection of the security-related events to be achieved.
  • An image recording is a video recording of a corresponding video camera within the meaning of the application.
  • the technical advantage can be achieved that the creation of the rectified image recording is made possible by the precise determination of the optical flow by the rectification of the image data. Speed distortions of movements depending on the positioning of the respective moving object in relation to the camera sensor can be avoided by equalization. By dividing the rectified image recording into a plurality of image elements, the optical flow for two-dimensional rectified image recordings can be determined as precisely as possible.
  • optical flow data are data that are generated to determine the optical flow and include corresponding information.
  • the determination of salient points within the picture elements is effected by executing an interest operator, the interest operator being given by a Harris vertex detection algorithm or a Shi-Tomasi algorithm.
  • the determined optical flow of a picture element for two consecutive frames comprises at least one speed vector with a speed direction and a speed value, the histogram showing speed vectors of a plurality of optical flows for a plurality of frames that follow each other in time, and the histogram showing the speed vectors of the optical flows of the plurality of frames are projected onto predetermined spatial directions.
  • the technical advantage can be achieved that the most precise possible detection of the security-relevant events based on the speed vectors of the optical flow of the histograms created is made possible by the motion detection. Since the speed vectors of the optical flow for the respective picture elements are projected onto predetermined spatial directions in the histograms, a detection of the safety-relevant events based on the speed vectors of the histograms can be facilitated by the correspondingly trained motion detection.
  • the possible spatial directions of the velocity vectors can be determined by the projection onto the predetermined spatial directions be reduced to a predetermined number of possible directions in space.
  • the motion detection can be efficiently trained to detect safety-relevant events in the form of characteristic speed patterns based on the speed vectors of the optical flow of the respective histograms of the corresponding picture elements.
  • the projection of the speed vectors onto the predetermined spatial directions thus facilitates the training of the motion detection, as a result of which the precision of the detection of the security-relevant events is increased.
  • the technical advantage can be achieved that a further increase in the precision of the detection of the security-relevant events is achieved.
  • the motion detection can be trained more efficiently to detect safety-relevant events.
  • Optical flow data which lead to comparable movement patterns, for example, but which are not based on safety-related events but can be traced back to extreme light changes or movements of the rail vehicle, can thus be excluded when safety-related events are detected.
  • the unsafe movement includes: a safety endangering action by a passenger towards another passenger and/or an unforeseen opening of a door of the rail vehicle endangering safety and/or damage to the rail vehicle in the form of a window breaking.
  • image data is data from a CCTV camera installed inside the passenger cabin of the rail vehicle.
  • the technical advantage can be achieved that the CCTV cameras already installed in the passenger cabin can be used to carry out the detection of safety-relevant events.
  • the installation of additional hardware components can thus be avoided.
  • the optical flow is determined by running a Lucas-Kanade algorithm.
  • the motion detection is designed as a trained artificial intelligence, the artificial intelligence being trained to determine a safety-endangering movement of an object within the passenger cabin based on the characteristic speed patterns of the determined optical flow.
  • the technical advantage can be achieved that by using a correspondingly trained artificial intelligence as motion detection, an efficient, fast and precise detection of security-relevant events is made possible.
  • the artificial intelligence which can be embodied, for example, as an appropriate neural network or as a support vector machine, a deterministic detection of safety-relevant events based on the optical flow data can be achieved.
  • a corresponding training has to be carried out directly based on the image data of the camera sensors.
  • the correspondingly trained motion detection is thus independent of the image data used in each case or the corresponding camera sensors and can therefore be used for any camera sensors.
  • the detection of the safety-relevant events by executing the correspondingly trained motion detection on the optical flow data is independent of the positions or executions of the respective objects executing the safety-relevant movements within the passenger cabin. Since only the characteristic speed patterns or movement patterns are recognized or determined, the position at which the respective movement or the safety-relevant event took place within the passenger cabin plays a subordinate role. As long as the characteristic speed pattern can be recognized, events can be determined in any position or location within the passenger cabin, regardless of whether events at such locations within the passenger cabin were taken into account in the training data. This allows a simplification of the training, in that the artificial intelligence to be trained or the motion detection to be trained has to be trained exclusively on optical flow data, which can be based on any different image data.
  • the technical advantage can be achieved that an improved method for training motion detection with the technical advantages mentioned above can be provided.
  • the motion detection By training the motion detection on the optical flow data, which can each be based on any different image data, it can be achieved that increased flexibility and simplification of the training of the motion detection to be trained can be achieved by enabling independence from the image data used in each case .
  • the technical advantage can be achieved that the optical flow data can be determined as precisely as possible based on the image data created in each case.
  • An increased precision of the training can be achieved by the precise determination of the optical flow or the respective optical flow data.
  • the technical advantage can be achieved that in turn an improvement in the quality of the training data and the associated training is achieved.
  • a computing unit is provided, the computing unit being designed to execute the method for detecting a safety-related event within a passenger cabin of a rail vehicle according to one of the preceding embodiments and/or a method for training motion detection according to one of the preceding embodiments.
  • a computer program product comprising instructions which, when the program is executed by a data processing unit, cause the latter to use the method for detecting a safety-related event within a passenger cabin of a rail vehicle according to one of the preceding embodiments and/or a method for training motion detection to carry out one of the preceding embodiments.
  • FIG 1 shows a schematic representation of a system 200 for detecting a safety-relevant event within a passenger cabin 202 of a rail vehicle 201 according to an embodiment.
  • the system 200 shown is set up to carry out the method according to the invention for detecting a safety-relevant event within a passenger cabin 202 of a rail vehicle 201 .
  • the system 200 includes at least one camera sensor 205, which is arranged in a passenger cabin 202 of a rail vehicle 201 and set up to view an interior space 203 of the passenger cabin 202.
  • the system 200 also includes a processing unit 209 with motion detection 211 that can be executed on the processing unit 209 .
  • the camera sensor 205 can be designed as a CCTV camera and record image data 207 of the interior 203 of the passenger cabin 202 of the rail vehicle 201 .
  • the image data 207 can be in the form of video data, for example.
  • the image data 207 of the camera sensor 205 is transmitted to the processing unit 209 via a data transmission 210 .
  • the motion detection 211 is set up to detect corresponding safety-related events.
  • the motion detector 211 can be designed as an appropriately trained artificial intelligence.
  • the motion detector 211 can also be trained to recognize safety-relevant events in accordance with the method according to the invention for training a motion detector 211, taking into account corresponding training data records 227.
  • FIG 2 shows a flowchart of a method 100 for detecting a safety-related event within a passenger cabin 202 of a rail vehicle 201 according to an embodiment.
  • the method 100 according to the invention for detecting a safety-relevant event within a passenger cabin 202 of a rail vehicle 201 can be carried out by a system 200 according to the embodiment in FIG 1 to be executed.
  • image data 207 from at least one camera sensor 205 is received, the image data 207 viewing the interior 203 of the passenger cabin 202 of the rail vehicle 201 to be monitored.
  • the camera sensor 205 can be embodied as a CCTV camera, for example, and the image data 207 can be embodied as corresponding video data.
  • an optical flow 217 of at least one picture element 215 of the image data 207 is determined for a predetermined period of time.
  • the received image data 207 of the camera sensor 205 are first rectified and correspondingly rectified image recordings 213 of the interior 203 of the passenger cabin 202 created.
  • An example of a corresponding equalization is in 3 shown.
  • Images 213 can usually be recorded by surveillance cameras, for example CCTV cameras, inside passenger cabins using a fish-eye lens.
  • a calculation of the optical flow of image elements within the image recordings is facilitated by rectification and a corresponding two-dimensional representation of the image recordings.
  • the rectified image recording 213 is divided into a plurality of image elements 215.
  • a corresponding division of the rectified image recording 213 is made 3 into a plurality of pixels 215.
  • the picture elements 215 can be formed here, for example, as rectangular or square and regular picture elements.
  • a corresponding optical flow 217 is determined for each of the image elements 215.
  • a distinctive point within the image element 215 of the rectified image recording 213 is determined for each image element 215.
  • a distinctive point can be brought about here by executing an interest operator, which can be given, for example, by a Harris corner point detection algorithm or by a Shi-Tomasi algorithm.
  • the corresponding optical flow 217 is determined on the basis of the determined prominent points for each image element 215 for two frames of the image data 207 that follow each other immediately in time.
  • the image data 207 embodied as video data are divided into the individual frames of the video recordings of the camera sensor 205 embodied as a CCTV camera.
  • each frame can be individually converted into a rectified image recording 213 .
  • a change in a positioning of the respectively determined distinctive point of the respective image element 215 between at least two immediately consecutive frames of the image data 207 or the rectified image recording 213 is determined.
  • a histogram 219 of the respectively determined optical flow 217 for the temporally consecutive frames of the image recording 213 is created for each picture element 215.
  • a corresponding histogram 219 is in 5 shown.
  • the histogram 219 includes a plurality of speed vectors 221 of the determined optical flow 217 for a plurality of temporally consecutive frames of the rectified image recording 213.
  • the optical flow 217 is determined for each pixel 215 for a predetermined time period.
  • the predetermined period of time can be arranged, for example, in the range of seconds and can include a number of 1 to, for example, 20 seconds.
  • the frames of the image recording 213, which follow one another in terms of time within the predetermined period of time, are each taken into account in a histogram 219 by calculating the respective speed vectors 221 of the optical flow 217 for the corresponding picture element 215.
  • the speed vectors 221, which each describe a speed value and a speed direction of the calculated optical flow 217, are projected onto predetermined spatial directions 223 in the histogram 219.
  • the number of speed vectors 221 that are taken into account in the histograms 219 depends on the length of the predetermined period of time for which the optical flow 217 is to be calculated according to the invention, and the number of frames per second of the camera sensor 205.
  • the number of in The speed vectors 221 taken into account in the histograms 219 is identical for the plurality of different picture elements 215. According to the invention, a speed vector 221 is calculated for each frame of the image recording that is taken into account and is taken into account in the histogram 219 .
  • the calculation of the optical flow 217 for each of the picture elements 215 can be effected, for example, by executing a Lucas-Kanade algorithm known in the art.
  • a change in light within each picture element 215 between different frames of the rectified image recording 213 is determined in a further method step 121 in the embodiment shown.
  • a driving state of the rail vehicle 201 is also determined.
  • the driving state of the rail vehicle 201 can be given, for example, by a stationary state of the rail vehicle 201 in a station area or by a movement state of the rail vehicle 201 that is being moved along a rail route.
  • the driving state can be determined at least for the predetermined period of time for determining the optical flow 217 .
  • an identification can also be assigned to each picture element 215.
  • Each of the image elements 215 of the rectified image recording 213 can be identified and distinguished from other image elements 215 via the identification.
  • the optical flow data of the optical flow 217 calculated in method step 103 or in method step 113 for each pixel 215 and the information regarding the light change, the driving state and the identification with regard to each pixel 215 are combined with one another.
  • the combination can be formed, for example, by a corresponding property vector.
  • the property vector can include information or entries relating to the optical flow 217, the change in light, the driving state and the identification.
  • a safety-relevant event is recognized on the basis of a characteristic speed pattern 218.
  • the motion detector 211 can be embodied as an appropriately trained artificial intelligence, for example a neural network or a support vector machine, and trained to recognize characteristic speed patterns 218 based on optical flow data, which can be assigned to safety-relevant events.
  • Safety-relevant events which can be recognized by such an execution of the movement detection 211 on the determined optical flow data, include safety-relevant movements of objects within the passenger cabin 202 of the rail vehicle 201.
  • Such safety-relevant events can, for example, safety-endangering actions of a passenger 225 towards another passenger 225 inside of the passenger cabin 202 include.
  • safety-endangering movements and associated safety-related events for example an unforeseen opening of a door of the rail vehicle and/or damage to a window of the rail vehicle or unauthorized activation of an emergency brake of the rail vehicle.
  • the motion detector 211 Since the motion detector 211 is trained to determine characteristic speed patterns of movements of objects within the passenger cabin 202, which are to be assigned according to predefined safety-relevant events or correspond to them, the motion detector 211 is able to use the characteristic speed patterns to determine safety-relevant events accordingly determine that occur at any position or location within the passenger cabin 202. The motion detection 211 thus acts independently of the position.
  • a corresponding warning message is output when a corresponding safety-relevant event is detected.
  • the warning message can be designed, for example, as a corresponding warning signal in the form of an optical or acoustic signal.
  • the processing unit 209 can, for example, be embodied in the rail vehicle 201, for example in the control cabin of the rail vehicle.
  • the computing unit 209 can be embodied in the camera sensor 205, the camera sensor 205 being embodied as a smart sensor in this case.
  • the processing unit 209 can be designed as an external processing unit and can be arranged in a corresponding monitoring center, for example in a station area.
  • FIG. 3 shows a schematic representation of image data 207 and a rectified image recording 213 of an interior 203 of a passenger cabin 202 of a rail vehicle 201.
  • 3 shows an image of the interior 203 of a passenger cabin 202, which was removed via a camera sensor 205 with a fisheye lens. 3 also shows a rectified image recording 213 of the same interior 203. In the rectified image recording 213, the distortions of the image data 207 caused by the fisheye lens are corrected.
  • FIG 4 shows a further schematic representation of a rectified image recording 213 of an interior 203 of a passenger cabin 202 of a rail vehicle 201.
  • FIG 4 shows a rectified image recording 213 of the interior 203 of the passenger cabin 202 3 .
  • the corrected image recording 213 is further divided into a plurality of different picture elements 215 .
  • For each pixel 215 a corresponding optical flow 217 is calculated.
  • the optic flow 217 is in FIG 4 exemplified by the speed vectors 221 pointing in different directions shown.
  • two passengers 225 are also shown in the image recording 213 shown.
  • a corresponding characteristic speed pattern 218 of a safety-relevant event can be determined by determining the optical flow 217 for each picture element 215 and executing the correspondingly trained motion detection 211 according to the method steps described above.
  • the safety-relevant event relates to a safety-endangering action by one of the passengers 225 in relation to the other passenger 225.
  • the motion detector 211 is able to detect corresponding safety-endangering movements of passengers based on the characteristic speed patterns 218, the entail such safety-endangering movements and to recognize the associated characteristic optical flow data.
  • the hatching shown can also be used to identify the picture elements 215 in which the characteristic speed patterns 218 of the respective determined values of the optical flow 217 describe a characteristic speed pattern 218 .
  • the safety-relevant movement of the safety-relevant event within the passenger cabin 202 can be localized.
  • the motion detector 211 can be trained to use optical flow data, which may have a characteristic speed pattern 218, but which is only due to the lighting conditions or the driving condition, to detect the safety-relevant events do not to consider.
  • the motion detector 211 can be trained to detect various image elements 215, in which a safety-related event is not to be expected based on the respective position within the passenger cabin 202, when assessing or detecting the safety-related events with less priority to consider.
  • FIG. 5 shows a schematic representation of a histogram 219 of an optical flow 217.
  • the histogram 219 shown includes a plurality of speed vectors 221 of the optical flow 217 calculated for a picture element 215 and the predetermined period of time.
  • the histogram 219 shown is exemplary only. In particular, the number of different spatial directions 223 can deviate from the number shown here.
  • FIG. 3 shows a flow diagram of a method 300 for training a motion detector 211 according to an embodiment.
  • the method 300 according to the invention for training a motion detector 211 can be implemented, for example, by a computing unit 209 according to FIG 1 embodiment shown are executed.
  • training data is first created in a method step 301, with the training data set comprising values of an optical flow 217 for a plurality of image elements 215 of image data 207 of at least one interior 203 of at least one passenger cabin 202 of at least one rail vehicle 201.
  • a set of image data 207 is first created in a method step 305 .
  • the image data 207 can here map any passenger cabins 202 of any rail vehicles 201 and come from different camera sensors 205.
  • the image data 207 is preferably video data that depicts at least one interior space 203 of a corresponding passenger cabin 202 .
  • the image data 207 each include safety-relevant events in accordance with the embodiments described above. In the image data, for example, corresponding scenes of violent or dangerous behavior by persons or passengers or another safety-relevant event can be replayed or simulated.
  • training data can be created by replaying or simulating the actual actions, on the basis of which precise training of the motion detection 211 can be carried out.
  • the training data can also include real image data or video data of safety-relevant events that have actually occurred, for example violent attacks or accidents involving people inside the passenger cabin or accident situations in the rail vehicle.
  • the training data set can, for example, include a combination of image data from simulated and real safety-related events.
  • a method step 313 the image data 207 is corrected and a corrected image recording 213 is recorded.
  • the equalization can be carried out in accordance with method step 109 described above.
  • the rectified image recording 213 is divided into a plurality of image elements 215.
  • the division of the rectified image recording 213 can be carried out according to method step 111 described above.
  • the image data 207 is in the form of video data, for example, and includes a plurality of temporally consecutive frames.
  • an optical flow 217 is then determined for each of the image elements 215.
  • the determination of the optical flow 217 can be carried out analogously to the method steps 103 and 113, respectively.
  • a histogram 219 is calculated for each image element 215, with the histogram 219 comprising a plurality of speed vectors 221 of the optical flow 217 determined for the respective image element 215 in accordance with the above-described embodiments, with the speed vectors 221 being projected onto predetermined spatial directions 223 are.
  • the creation of the histogram 219 can be carried out analogously to the method step 119 described above.
  • a light change is determined for each picture element 215 .
  • the change in light can be determined in accordance with method step 121 described above.
  • a driving state of the respective rail vehicle 201 is determined for each image element 215.
  • the driving state can be determined analogously to method step 123 described above.
  • each image element 215 can be assigned a corresponding identification.
  • step 323 the information relating to the light change, the driving state or the identification for each image element 215 is combined with the information relating to the optical flow 217 of the respective image element 215.
  • a combination of information can be effected, for example, in the form of a corresponding property vector.
  • the information of the training data record 227 is also annotated and consequently the characteristic speed patterns 218, which are reflected in the respective optical flow data, are marked accordingly as present safety-relevant events.
  • the motion detection 211 is then trained to detect safety-relevant events based on the information of the optical flow 217 of the image data 207 .
  • the training can be carried out by executing machine learning training methods known from the prior art.
  • FIG 7 shows a schematic representation of a computer program product 400, comprising instructions which, when the program is executed by a computing unit, cause it to carry out the method 100 for detecting a safety-related event within a passenger cabin of a rail vehicle and/or the method 300 for training motion detection.
  • the computer program product 400 is stored on a storage medium 401 in the embodiment shown.
  • the storage medium 401 can be any storage medium known from the prior art.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (100) zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine (202) eines Schienenfahrzeugs (201), umfassend:
- Empfangen (101) von Bilddaten (207) eines einen Innenraum (203) der Fahrgastkabine (202) des Schienenfahrzeugs (201) einsehenden Kamerasensors (205);
- Bestimmen (103) eines optischen Flusses (217) von wenigstens einem Bildelement (215) der Bilddaten (207) für einen vorbestimmten Zeitraum;
- Erkennen (105) eines sicherheitsrelevanten Ereignisses anhand eines charakteristischen Geschwindigkeitsmusters (218) des bestimmten optischen Flusses (217) durch Ausführen einer Bewegungserkennung (211) auf den bestimmten optischen Fluss (217), wobei das sicherheitsrelevante Ereignis eine sicherheitsgefährdende Bewegung eines Objekts innerhalb der Fahrgastkabine (202) umfasst; und
- Ausgeben (107) einer das sicherheitsrelevante Ereignis betreffenden Warnmeldung.

Description

  • Die Erfindung betrifft ein Verfahren zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs.
  • Die Zukunft von Mobilität in liegt im Betrieb intelligenter und autonomer Fahrzeuge. Die Sicherheit an Bord bildet hierbei eine Herausforderung, die gewährleistet werden muss, insbesondere für Schienenfahrzeuge im Personennahverkehr. Die Sicherheit für öffentliche Verkehrsmittel umfasst nicht nur das intelligente Fahren, sondern auch die Gewährleistung, dass jegliche gefährliche Situationen an Bord erkannt und in Echtzeit gemeldet werden.
  • Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs bereitzustellen.
  • Diese Aufgabe wird durch das Verfahren zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs gemäß dem unabhängigen Anspruch gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der untergeordneten Ansprüche.
  • Nach einem Aspekt der Erfindung wird ein Verfahren zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs bereitgestellt, umfassend:
    • Empfangen von Bilddaten eines einen Innenraum der Fahrgastkabine des Schienenfahrzeugs einsehenden Kamerasensors;
    • Bestimmen eines optischen Flusses von wenigstens einem Bildelement der Bilddaten für einen vorbestimmten Zeitraum;
    • Erkennen eines sicherheitsrelevanten Ereignisses anhand eines charakteristischen Geschwindigkeitsmusters des bestimmten optischen Flusses durch Ausführen einer Bewegungserkennung auf den bestimmten optischen Fluss, wobei das sicherheitsrelevante Ereignis eine sicherheitsgefährdende Bewegung eines Objekts innerhalb der Fahrgastkabine umfasst; und
    • Ausgeben einer das sicherheitsrelevante Ereignis betreffenden Warnmeldung.
  • Hierdurch kann der technische Vorteil erreicht werden, dass ein verbessertes Verfahren zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs bereitgestellt werden kann. Zum Erkennen der sicherheitsrelevanten Ereignisse basierend auf Bilddaten wenigstens eines Kamerasensors wird ein optischer Fluss der aufgenommenen Bilddaten ermittelt, um basierend auf dem optischen Fluss ein charakteristisches Geschwindigkeitsmuster eines sicherheitsrelevanten Ereignisses zu erkennen. Das sicherheitsrelevante Ereignis ist hierbei durch eine sicherheitsgefährdende Bewegung eines Objekts innerhalb der Fahrgastkabine charakterisiert. Durch die Berücksichtigung des optischen Flusses und durch das Erkennen des charakteristischen Geschwindigkeitsmusters zum Identifizieren des jeweiligen sicherheitsrelevanten Ereignisses kann erreicht werden, dass die Erkennung der sicherheitsrelevanten Ereignisse unabhängig von den jeweils aufgenommenen Bilddaten bzw. des jeweiligen Kamerasensors erfolgen kann. Darüber hinaus ist die Erkennung des sicherheitsrelevanten Ereignisses unabhängig von der jeweiligen Positionierung der Bewegung des Objekts innerhalb der Fahrgastkabine. Da die Erkennung des sicherheitsrelevanten Ereignisses nicht auf dem Erkennen der tatsächlichen Handlung oder der tatsächlichen Aktion basiert sondern lediglich indirekt über Ermittlung eines entsprechend charakteristischen Geschwindigkeitsmuster bewirkt wird, spielt die Position innerhalb der Bilddaten bzw. der Fahrgastkabine, in der das charakteristische Geschwindigkeitsmuster detektiert wird eine untergeordnete Rolle. Hierdurch kann eine erhöhte Flexibilität und Präzision der Erkennung der sicherheitsrelevanten Ereignisse erreicht werden.
  • Eine Bildaufnahme ist im Sinne der Anmeldung eine Videoaufnahme einer entsprechenden Videokamera.
  • Nach einer Ausführungsform umfasst das Bestimmen des optischen Flusses:
    • Entzerren der Bilddaten des Kamerasensors und Erstellen einer entzerrten Bildaufnahme der Fahrgastkabine;
    • Aufteilen der entzerrten Bildaufnahme in eine Mehrzahl von Bildelementen; und
    • Bestimmen des optischen Flusses für jedes der Bildelemente.
  • Hierdurch kann der technische Vorteil erreicht werden, dass durch die präzise Bestimmung des optischen Flusses durch die Entzerrung der Bilddaten das Erstellen der entzerrten Bildaufnahme ermöglicht ist. Geschwindigkeitsverzerrungen von Bewegungen in Abhängigkeit von der Positionierung des sich jeweiligen bewegenden Objekts zum Kamerasensor können durch das Entzerren vermieden werden. Durch das Aufteilen der entzerrten Bildaufnahme in eine Mehrzahl von Bildelementen kann eine möglichst präzise Bestimmung des optischen Flusses für zweidimensionale entzerrte Bildaufnahmen erreicht werden.
  • Nach einer Ausführungsform umfasst das Bestimmen des optischen Flusses:
    • Ermitteln einer markanten Stelle innerhalb eines jeden Bildelements der entzerrten Bildaufnahme;
    • Bestimmen des optischen Flusses für jeweils zwei zeitlich unmittelbar aufeinanderfolgender Frames der Bilddaten anhand der ermittelten markanten Stellen für jedes Bildelement; und
    • Erstellen eines Histogramms des bestimmten optischen Flusses für die Frames der Bildaufnahme während des vorbestimmten Zeitraums.
  • Hierdurch kann der technische Vorteil erreicht werden, dass eine möglichst präzise Bestimmung des optischen Flusses und damit verbunden eine möglichst präzise Erkennung der sicherheitsrelevanten Ereignisse ermöglicht ist. Durch das Ermitteln der markanten Stelle und das Berechnen des optischen Flusses für aufeinanderfolgende Frames der Bilddaten in Bezug auf die markanten Stellen ist eine präzise Ermittlung des optischen Flusses ermöglicht. Durch das Erstellen eines Histogramms kann eine effiziente Darstellung der optischen Flussdaten erreicht werden. Optische Flussdaten sind hierbei Daten, die zur Bestimmung des optischen Flusses generiert sind und entsprechende Information umfassen.
  • Nach einer Ausführungsform wird das Ermitteln von markanten Stellen innerhalb der Bildelemente durch Ausführen eines Interest-Operators bewirkt, wobei der Interest-Operator durch einen Harris Eckpunkt-Detektions-Algorithmus oder einen Shi-Tomasi-Algorithmus gegeben ist.
  • Hierdurch kann der technische Vorteil erreicht werden, dass eine effiziente und präzise Bestimmung markanter Stellen innerhalb der Bildelemente ermöglicht ist.
  • Nach einer Ausführungsform umfasst der bestimmte optische Fluss eines Bildelements für jeweils zwei aufeinanderfolgende Frames wenigstens einen Geschwindigkeitsvektor mit einer Geschwindigkeitsrichtung und einem Geschwindigkeitswert, wobei im Histogramm Geschwindigkeitsvektoren einer Mehrzahl von optischen Flüssen für eine Mehrzahl zeitlich aufeinander folgender Frames dargestellt sind, und wobei im Histogramm die Geschwindigkeitsvektoren der optischen Flüsse der Mehrzahl von Frames auf vorbestimmte Raumrichtungen projiziert sind.
  • Hierdurch kann der technische Vorteil erreicht werden, dass eine möglichst präzise Erkennung der sicherheitsrelevanten Ereignisse basierend auf den Geschwindigkeitsvektoren des optischen Flusses der erstellten Histogramme durch die Bewegungserkennung ermöglicht ist. Indem in den Histogrammen die Geschwindigkeitsvektoren des optischen Flusses für die jeweiligen Bildelemente auf vorbestimmte Raumrichtungen projiziert sind, kann eine Erkennung der sicherheitsrelevanten Ereignisse basierend auf den Geschwindigkeitsvektoren der Histogramme durch die entsprechend trainierte Bewegungserkennung erleichtert werden. Durch die Projektion auf die vorbestimmten Raumrichtungen können die möglichen Raumrichtungen der Geschwindigkeitsvektoren auf eine vorbestimmte Anzahl möglicher Raumrichtungen reduziert werden. Hierdurch kann die Bewegungserkennung effizient auf das Erkennen von sicherheitsrelevanten Ereignissen in Form charakteristischer Geschwindigkeitsmuster basierend auf den Geschwindigkeitsvektoren des optischen Flusses der jeweiligen Histogramme der entsprechenden Bildelemente trainiert werden. Die Projektion der Geschwindigkeitsvektoren auf die vorbestimmten Raumrichtungen erleichtert somit das Training der Bewegungserkennung, wodurch eine Präzision der Erkennung der sicherheitsrelevanten Ereignisse erhöht ist.
  • Nach einer Ausführungsform umfasst das Verfahren ferner:
    • Bestimmen einer Lichtänderung innerhalb jedes Bildelements für den vorbestimmten Zeitraum; und/oder
    • Ermitteln eines Fahrzustands des Schienenfahrzeugs; und/oder
    • Zuweisen einer Identifikation zu jedem Bildelement; und
    • Kombinieren des bestimmten optischen Flusses des jeweiligen Bildelements mit der Information der Lichtänderung innerhalb eines Bildelements und/oder der Information des Fahrzustands des Zuges und/oder der Identifikation eines Bildelements, wobei das sicherheitsrelevante Ereignis basierend auf der kombinierten Information erkannt wird.
  • Hierdurch kann der technische Vorteil erreicht werden, dass eine weitere Präzisionserhöhung der Erkennung der sicherheitsrelevanten Ereignisse erreicht wird. Indem die zusätzliche Information der Bewegungserkennung zugeführt wird, wie beispielsweise eine bestimmte Lichtänderung innerhalb eines Bildelements oder ein Fahrzustand des Schienenfahrzeugs, kann die Bewegungserkennung effizienter auf das Erkennen von sicherheitsrelevanten Ereignissen trainiert werden. Optische Flussdaten, die beispielsweise auf vergleichbare Bewegungsmuster führen, die jedoch nicht auf sicherheitsrelevanten Ereignissen basieren, sondern auf extremen Lichtänderungen oder Bewegungen des Schienenfahrzeugs zurückgeführt werden können, können somit bei der Erkennung von sicherheitsrelevanten Ereignissen ausgeschlossen werden.
  • Nach einer Ausführungsform umfasst die sicherheitsgefährdende Bewegung:
    eine sicherheitsgefährdende Handlung eines Fahrgasts gegenüber einem weiteren Fahrgast und/oder eine sicherheitsgefährdende unvorhergesehene Öffnung einer Tür des Schienenfahrzeugs und/oder eine Beschädigung des Schienenfahrzeugs in Form eines Zerbrechens einer Scheibe.
  • Hierdurch kann der technische Vorteil erreicht werden, dass eine breite Anwendbarkeit des erfindungsgemäßen Verfahrens für die Erkennung von sicherheitsrelevanten Ereignissen, die bei einem typischen Betrieb eines Schienenfahrzeugs, beispielsweise im Personennahverkehr, auftreten können, ermöglicht ist.
  • Nach einer Ausführungsform sind Bilddaten Daten einer innerhalb der Fahrgastkabine des Schienenfahrzeugs installierten CCTV-Kamera.
  • Hierdurch kann der technische Vorteil erreicht werden, dass zur Ausführung der Erkennung von sicherheitsrelevanten Ereignissen, die bereits in der Fahrgastkabine installierten CCTV-Kameras verwendet werden können. Das Verbauen von zusätzlichen Hardwarekomponenten kann somit vermieden werden.
  • Nach einer Ausführungsform wird der optische Fluss durch Ausführen eines Lucas-Kanade-Algorithmus bestimmt.
  • Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise Berechnung des optischen Flusses ermöglicht ist.
  • Nach einer Ausführungsform ist die Bewegungserkennung als eine trainierte künstliche Intelligenz ausgebildet, wobei die künstliche Intelligenz darauf trainiert ist, basierend auf den charakteristischen Geschwindigkeitsmustern des bestimmten optischen Flusses, eine sicherheitsgefährdende Bewegung eines Objekts innerhalb der Fahrgastkabine zu ermitteln.
  • Hierdurch kann der technische Vorteil erreicht werden, dass durch das Verwenden einer entsprechend trainierten künstlichen Intelligenz als Bewegungserkennung eine leistungsfähige, schnelle und präzise Erkennung von sicherheitsrelevanten Ereignissen ermöglicht ist. Durch das entsprechende Trainieren der künstlichen Intelligenz, die beispielsweise als ein entsprechendes neuronales Netz oder als eine Support Vector Machine ausgebildet sein kann, kann eine deterministische Erkennung von sicherheitsrelevanten Ereignissen basierend auf den optischen Flussdaten erreicht werden. Durch das Trainieren der künstlichen Intelligenz auf den optischen Flussdaten zum Erkennen der sicherheitsrelevanten Ereignisse, kann vermieden werden, dass ein entsprechendes Training unmittelbar basierend auf den Bilddaten der Kamerasensoren ausgeführt werden muss. Die entsprechend trainierte Bewegungserkennung ist somit unabhängig von den jeweils verwendeten Bilddaten bzw. den entsprechenden Kamerasensoren und kann somit für beliebige Kamerasensoren eingesetzt werden. Darüber hinaus ist die Erkennung der sicherheitsrelevanten Ereignisse durch Ausführung der entsprechend trainierten Bewegungserkennung auf die optischen Flussdaten unabhängig von Positionen bzw. Ausführungen der jeweiligen die sicherheitsrelevanten Bewegungen ausführenden Objekte innerhalb der Fahrgastkabine. Indem lediglich die charakteristischen Geschwindigkeitsmuster bzw. Bewegungsmuster erkannt bzw. ermittelt werden, spielt die Position, an der die jeweilige Bewegung bzw. das sicherheitsrelevante Ereignis innerhalb der Fahrgastkabine stattgefunden hat, eine untergeordnete Rolle. Solange das charakteristische Geschwindigkeitsmuster erkannt werden kann, können Ereignisse in beliebigen Positionen bzw. Stellen innerhalb der Fahrgastkabine ermittelt werden, unabhängig davon, ob in den Trainingsdaten Ereignisse an derartigen Stellen innerhalb der Fahrgastkabine berücksichtigt wurden. Hierdurch ist eine Vereinfachung des Trainings ermöglicht, indem die zu trainierende künstliche Intelligenz bzw. die zu trainierende Bewegungserkennung ausschließlich auf optischen Flussdaten trainiert werden muss, die auf beliebigen unterschiedlichen Bilddaten basieren können.
  • Nach einem zweiten Aspekt wird ein Verfahren zum Trainieren einer erfindungsgemäßen Bewegungserkennung bereitgesellt, umfassend:
    • Erstellen eines Trainingsdatensatzes, wobei der Trainingsdatensatz Werte eines optischen Flusses für eine Mehrzahl von Bildelementen von Bilddaten wenigstens eines Innenraums wenigstens einer Fahrgastkabine wenigstens eines Schienenfahrzeugs umfasst;
    • Ausführen der Bewegungserkennung auf den Trainingsdatensatz und Trainieren der Bewegungserkennung auf ein Erkennen eines sicherheitsrelevanten Ereignisses anhand eines charakteristischen Geschwindigkeitsmusters des bestimmten optischen Flusses durch maschinelles Lernen, wobei das sicherheitsrelevante Ereignis eine sicherheitsgefährdende Bewegung eines Objekts innerhalb der Fahrgastkabine umfasst.
  • Hierdurch kann der technische Vorteil erreicht werden, dass ein verbessertes Verfahren zum Trainieren einer Bewegungserkennung mit den oben genannten technischen Vorteilen bereitgestellt werden kann. Durch das Trainieren der Bewegungserkennung auf den optischen Flussdaten, die jeweils auf beliebigen unterschiedlichen Bilddaten basieren können, kann erreicht werden, dass eine erhöhte Flexibilität und eine Vereinfachung des Trainings der zu trainierenden Bewegungserkennung erreicht werden kann, indem eine Unabhängigkeit von den jeweils verwendeten Bilddaten ermöglicht ist.
  • Nach einer Ausführungsform umfasst das Erstellen des Trainingsdatensatzes:
    • Erstellen eines Satzes von Bilddaten wenigstens eines Innenraums einer Fahrgastkabine wenigstens eines Schienenfahrzeugs, wobei die Bilddaten sicherheitsrelevante Ereignisse abbilden;
    • Berechnen des optischen Flusses für die Mehrzahl von Bilddaten, wobei der optische Fluss für eine Mehrzahl von Bildelementen der Bilddaten und für eine Mehrzahl von Frames der Bilddaten innerhalb eines vorbestimmten Zeitraums berechnet wird;
    • Erstellen für jedes Bildelement für die Mehrzahl von Frames während des vorbestimmten Zeitraums eines Histogramms des optischen Flusses durch Projizieren von Geschwindigkeitsvektoren des optischen Flusses auf vorbestimmte Raumrichtungen; und
    • Annotieren des Trainingsdatensatzes und Kennzeichen der charakteristischen Bewegungsmuster von sicherheitsrelevanten Ereignissen.
  • Hierdurch kann der technische Vorteil erreicht werden, dass eine möglichst präzise Bestimmung der optischen Flussdaten basierend auf den jeweils erstellten Bilddaten ermöglicht ist. Durch die präzise Bestimmung des optischen Flusses bzw. der jeweiligen optischen Flussdaten kann eine erhöhte Präzision des Trainings erreicht werden. Durch das Annotieren der Trainingsdaten und das Kennzeichnen der charakteristischen Bewegungsmuster von sicherheitsrelevanten Ereignissen innerhalb der Trainingsdaten ist wiederum eine erhöhte Präzision der Erkennung der sicherheitsrelevanten Ereignisse ermöglicht.
  • Nach einer Ausführungsform umfasst das Erstellen des Satzes von Bilddaten:
    • Entzerren der Bilddaten und Erstellen von entzerrten Bildaufnahmen; und
    • Aufteilen der entzerrten Bildaufnahmen in eine Mehrzahl von Bildelementen;
    wobei das Erstellen des Trainingsdatensatzes ferner umfasst:
    • Bestimmen einer Lichtänderung innerhalb jedes Bildelements für den vorbestimmten Zeitraum; und/oder
    • Ermitteln eines Fahrzustands des jeweiligen Schienenfahrzeugs; und/oder
    • Zuweisen einer Identifikation zu jedem Bildelement; und
    • Kombinieren des bestimmten optischen Flusses des jeweiligen Bildelements mit der Information der Lichtänderung innerhalb eines Bildelements und/oder der Information des Fahrzustands des Zuges und/oder der Identifikation eines Bildelements.
  • Hierdurch kann der technische Vorteil erreicht werden, dass wiederum eine Verbesserung der Qualität der Trainingsdaten und damit verbunden des Trainings erreicht wird.
  • Nach einem dritten Aspekt wird eine Recheneinheit bereitgesellt, wobei die Recheneinheit ausgebildet ist, das Verfahren zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs nach einer der voranstehenden Ausführungsformen und/oder ein Verfahren zum Trainieren einer Bewegungserkennung nach einer der voranstehenden Ausführungsformen auszuführen.
  • Nach einem vierten Aspekt wird ein Computerprogrammprodukt umfassend Befehle bereitgestellt, die bei der Ausführung des Programms durch eine Datenverarbeitungseinheit diese veranlassen, das Verfahren zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs nach einer der voranstehenden Ausführungsformen und/oder ein Verfahren zum Trainieren einer Bewegungserkennung nach einer der voranstehenden Ausführungsformen auszuführen.
  • Die oben beschriebenen Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich durch die Erläuterungen der folgenden, stark vereinfachten, schematischen Darstellungen bevorzugter Ausführungsbeispiele. Hierbei zeigen jeweils:
    • FIG 1 eine schematische Darstellung eines Systems zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs gemäß einer Ausführungsform;
    • FIG 2 ein Flussdiagramm eines Verfahrens zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs gemäß einer Ausführungsform;
    • FIG 3 eine schematische Darstellung von Bilddaten und einer entzerrten Bildaufnahme eines Innenraums einer Fahrgastkabine eines Schienenfahrzeugs;
    • FIG 4 eine weitere schematische Darstellung einer entzerrten Bildaufnahme eines Innenraums einer Fahrgastkabine eines Schienenfahrzeugs;
    • FIG 5 eine schematische Darstellung eines Histogramms eines optischen Flusses;
    • FIG 6 ein Flussdiagramm eines Verfahrens zum Trainieren einer Bewegungserkennung gemäß einer Ausführungsform; und
    • FIG 7 eine schematische Darstellung eines Computerprogrammprodukts.
  • FIG 1 zeigt eine schematische Darstellung eines Systems 200 zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine 202 eines Schienenfahrzeugs 201 gemäß einer Ausführungsform.
  • Das gezeigte System 200 ist eingerichtet, das erfindungsgemäße Verfahren zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine 202 eines Schienenfahrzeugs 201 auszuführen. Hierzu umfasst das System 200 wenigstens einen Kamerasensor 205, der in einer Fahrgastkabine 202 eines Schienenfahrzeugs 201 angeordnet und eingerichtet ist, einen Innenraum 203 der Fahrgastkabine 202 einzusehen. Das System 200 umfasst ferner eine Recheneinheit 209 mit einer Bewegungserkennung 211, die auf der Recheneinheit 209 ausführbar ist. Der Kamerasensor 205 kann als eine CCTV-Kamera ausgebildet sein und Bilddaten 207 des Innenraums 203 der Fahrgastkabine 202 des Schienenfahrzeugs 201 aufnehmen. Die Bilddaten 207 können beispielsweise als Videodaten ausgebildet sein.
  • Zum Erkennen eines sicherheitsrelevanten Ereignisses werden die Bilddaten 207 des Kamerasensors 205 über eine Datenübertragung 210 an die Recheneinheit 209 übertragen. Durch Ausführen der Bewegungserkennung 211 auf die übertragenen Bilddaten 207 ist die Bewegungserkennung 211 eingerichtet, entsprechende sicherheitsrelevante Ereignisse zu erkennen. Die Bewegungserkennung 211 kann hierzu als eine entsprechend trainierte künstliche Intelligenz ausgebildet sein. Die Bewegungserkennung 211 kann unter Berücksichtigung entsprechender Trainingsdatensätze 227 ferner gemäß dem erfindungsgemäßen Verfahren zum Trainieren einer Bewegungserkennung 211 auf das Erkennen von sicherheitsrelevanten Ereignissen trainiert sein.
  • FIG 2 zeigt ein Flussdiagramm eines Verfahrens 100 zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine 202 eines Schienenfahrzeugs 201 gemäß einer Ausführungsform.
  • Das erfindungsgemäße Verfahren 100 zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine 202 eines Schienenfahrzeugs 201 kann durch ein System 200 gemäß der Ausführungsform in FIG 1 ausgeführt werden.
  • Zunächst werden in einem Verfahrensschritt 101 Bilddaten 207 wenigstens eines Kamerasensors 205 empfangen, wobei die Bilddaten 207 den Innenraum 203 der zu überwachenden Fahrgastkabine 202 des Schienenfahrzeugs 201 einsehen. Der Kamerasensor 205 kann beispielsweise als eine CCTV-Kamera und die Bilddaten 207 können als entsprechende Videodaten ausgebildet sein.
  • Darauffolgend wird in einem Verfahrensschritt 103 basierend auf den Bilddaten 207 ein optischer Fluss 217 von wenigstens einem Bildelement 215 der Bilddaten 207 für einen vorbestimmten Zeitraum bestimmt.
  • Hierzu werden in einem Verfahrensschritt 109 zunächst die empfangenen Bilddaten 207 des Kamerasensors 205 entzerrt und entsprechend entzerrte Bildaufnahmen 213 des Innenraums 203 der Fahrgastkabine 202 erstellt. Ein Beispiel für eine entsprechende Entzerrung ist in FIG 3 dargestellt. Üblicherweise können Bildaufnahmen 213 von Überwachungskameras, beispielsweise CCTV-Kameras, innerhalb von Fahrgastkabinen mittels eines Fischaugenobjektivs aufgenommen werden. Durch eine Entzerrung und eine entsprechende zweidimensionale Darstellung der Bildaufnahmen wird eine Berechnung des optischen Flusses von Bildelementen innerhalb der Bildaufnahmen erleichtert.
  • In einem weiteren Verfahrensschritt 111 wird die entzerrte Bildaufnahme 213 in eine Mehrzahl von Bildelementen 215 aufgeteilt. In FIG 4 ist eine entsprechende Aufteilung der entzerrten Bildaufnahme 213 aus FIG 3 in eine Vielzahl von Bildelementen 215 dargestellt. Die Bildelemente 215 können hierbei beispielsweise als rechteckige oder quadratische und regelmäßig ausgebildete Bildelemente ausgebildet sein.
  • In einem weiteren Verfahrensschritt 113 wird für jedes der Bildelemente 215 ein entsprechender optischer Fluss 217 ermittelt.
  • Hierzu wird in einem weiteren Verfahrensschritt 115 für jedes Bildelement 215 eine markante Stelle innerhalb des Bildelements 215 der entzerrten Bildaufnahme 213 ermittelt. Eine markante Stelle kann hierbei durch Ausführung eines Interest-Operators bewirkt werden, der beispielsweise durch einen Harris Eckpunkt-Detektions-Algorithmus oder durch einen Shi-Tomasi-Algorithmus gegeben sein kann.
  • In einem weiteren Verfahrensschritt 117 wird anhand der ermittelten markanten Stellen für jedes Bildelement 215 für jeweils zwei zeitlich unmittelbar aufeinanderfolgende Frames der Bilddaten 207 der entsprechende optische Fluss 217 ermittelt. Die als Videodaten ausgebildeten Bilddaten 207 werden hierzu in die einzelnen Frames der Videoaufnahmen des als CCTV-Kamera ausgebildeten Kamerasensors 205 aufgeteilt. Jeder Frame kann hierzu einzeln in eine entzerrte Bildaufnahme 213 umgewandelt sein. Zur Detektion bzw. Berechnung des optischen Flusses 217 wird hierzu gemäß dem üblichen und aus dem Stand der Technik bekannten Vorgehen für jedes Bildelement 215 eine Änderung einer Positionierung der jeweils ermittelten markanten Stelle des jeweiligen Bildelements 215 zwischen wenigstens zwei unmittelbar zeitlich aufeinanderfolgenden Frames der Bilddaten 207 bzw. der entzerrten Bildaufnahme 213 ermittelt.
  • In einem weiteren Verfahrensschritt 119 wird für jedes Bildelement 215 ein Histogramm 219 des jeweils bestimmten optischen Flusses 217 für die zeitlich aufeinanderfolgenden Frames der Bildaufnahme 213 erstellt. Ein entsprechendes Histogramm 219 ist in FIG 5 dargestellt. Das Histogramm 219 umfasst hierbei eine Mehrzahl von Geschwindigkeitsvektoren 221 des ermittelten optischen Flusses 217 für eine Mehrzahl zeitlich aufeinanderfolgender Frames der entzerrten Bildaufnahme 213. Erfindungsgemäß wird der optische Fluss 217 für jedes Bildelement 215 jeweils für einen vorbestimmten Zeitraum ermittelt. Der vorbestimmte Zeitraum kann beispielsweise im Sekundenbereich angeordnet sein und eine Anzahl von 1 bis beispielsweise 20 Sekunden umfassen. Die Frames der Bildaufnahme 213, die innerhalb des vorbestimmten Zeitraums zeitlich aufeinanderfolgen, werden jeweils in einem Histogramm 219 durch Berechnung der jeweiligen Geschwindigkeitsvektoren 221 des optischen Flusses 217 für das entsprechende Bildelement 215 berücksichtigt. Die Geschwindigkeitsvektoren 221, die jeweils einen Geschwindigkeitswert und eine Geschwindigkeitsrichtung des berechneten optischen Flusses 217 beschreiben, sind im Histogramm 219 auf vorbestimmte Raumrichtungen 223 projiziert. Die Anzahl der Geschwindigkeitsvektoren 221, die in den Histogrammen 219 berücksichtigt werden, richtet sich erfindungsgemäß nach der Länge des vorbestimmten Zeitraums, für den der optische Fluss 217 erfindungsgemäß zu berechnen ist, und der Anzahl der Frames pro Sekunde des Kamerasensors 205. Die Anzahl der in den Histogrammen 219 berücksichtigten Geschwindigkeitsvektoren 221 ist für die Mehrzahl verschiedener Bildelemente 215 identisch. Erfindungsgemäß wird für jeden berücksichtigten Frame der Bildaufnahme ein Geschwindigkeitsvektor 221 berechnet und im Histogramm 219 berücksichtigt.
  • Die Berechnung des optischen Flusses 217 für jedes der Bildelemente 215 kann beispielsweise durch Ausführung eines aus dem Stand der Technik bekannten Lucas-Kanade-Algorithmus bewirkt werden.
  • Zusätzlich zur Bestimmung des optischen Flusses 217 im Verfahrensschritt 103 wird in der gezeigten Ausführungsform in einem weiteren Verfahrensschritt 121 eine Lichtänderung innerhalb eines jeden Bildelements 215 zwischen verschiedenen Frames der entzerrten Bildaufnahme 213 bestimmt.
  • In einem weiteren Verfahrensschritt 123 wird ferner ein Fahrzustand des Schienenfahrzeugs 201 ermittelt. Der Fahrzustand des Schienenfahrzeugs 201 kann beispielsweise durch einen Standzustand des Schienenfahrzeugs 201 in einem Bahnhofsbereich oder durch einen Bewegungszustand des Schienenfahrzeugs 201, das entlang eines Schienenwegs verfahren wird, gegeben sein. Der Fahrzustand kann wenigstens für den vorbestimmten Zeitraum zur Ermittlung des optischen Flusses 217 bestimmt werden.
  • In einem weiteren Verfahrensschritt 125 kann ferner jedem Bildelement 215 eine Identifikation zugeschrieben werden. Über die Identifikation kann jedes der Bildelemente 215 der entzerrten Bildaufnahme 213 identifiziert und von anderen Bildelementen 215 unterschieden werden.
  • In einem weiteren Verfahrensschritt 127 werden die im Verfahrensschritt 103 bzw. im Verfahrensschritt 113 für jedes Bildelement 215 berechneten optischen Flussdaten des optischen Flusses 217 und die Informationen bezüglich der Lichtänderung, des Fahrzustands und der Identifikation bezüglich jedes Bildelements 215 miteinander kombiniert. Die Kombination kann hierbei beispielsweise durch einen entsprechenden Eigenschaftsvektor ausgebildet sein. Der Eigenschaftsvektor kann hierbei für jedes Bildelement 215 Information beziehungsweise Einträge bezüglich des optischen Flusses 217, der Lichtänderung, des Fahrzustands und der Identifikation umfassen.
  • In einem weiteren Verfahrensschritt 105 wird durch Ausführung der Bewegungserkennung 211 auf die im Verfahrensschritt 127 generierten und die Information bezüglich des optischen Flusses 217, der Lichtänderung, des Fahrzustands und der Identifikation für jedes Bildelement 215 umfassenden Merkmalsvektoren ein sicherheitsrelevantes Ereignis anhand eines charakteristischen Geschwindigkeitsmusters 218 erkannt. Die Bewegungserkennung 211 kann hierbei wie bereits erwähnt als eine entsprechend trainierte künstliche Intelligenz, beispielsweise ein neuronales Netz oder eine Support Vector Machine, ausgebildet sein und darauf trainiert sein, basierend auf optischen Flussdaten charakteristische Geschwindigkeitsmuster 218 zu erkennen, die sicherheitsrelevanten Ereignissen zuzuordnen sind. Sicherheitsrelevante Ereignisse, die durch eine derartige Ausführung der Bewegungserkennung 211 auf den ermittelten optischen Flussdaten erkannt werden können, umfassen hierbei sicherheitsrelevante Bewegungen von Objekten innerhalb der Fahrgastkabine 202 des Schienenfahrzeugs 201. Derartige sicherheitsrelevante Ereignisse können beispielsweise sicherheitsgefährdende Handlungen eines Fahrgastes 225 gegenüber einem weiteren Fahrgast 225 innerhalb der Fahrgastkabine 202 umfassen. Alternativ oder zusätzlich können sicherheitsgefährdende Bewegungen und damit verbunden sicherheitsrelevante Ereignisse, beispielsweise eine unvorhergesehene Öffnung einer Tür des Schienenfahrzeugs und/oder eine Beschädigung einer Scheibe des Schienenfahrzeugs oder eine unerlaubte Betätigung einer Notbremse des Schienenfahrzeugs umfassen.
  • Da die Bewegungserkennung 211 darauf trainiert ist, charakteristische Geschwindigkeitsmuster von Bewegungen von Objekten innerhalb der Fahrgastkabine 202, die entsprechend vordefinierten sicherheitsrelevanten Ereignissen zuzuordnen sind bzw. diesen entsprechen, zu ermitteln, ist die Bewegungserkennung 211 in der Lage, anhand der charakteristischen Geschwindigkeitsmuster entsprechend sicherheitsrelevante Ereignisse zu ermitteln, die an beliebigen Positionen oder Stellen innerhalb der Fahrgastkabine 202 auftreten. Die Bewegungserkennung 211 agiert somit positionsunabhängig.
  • In einem weiteren Verfahrensschritt 107 wird bei Erkennung eines entsprechenden sicherheitsrelevanten Ereignisses eine entsprechende Warnmeldung ausgegeben. Die Warnmeldung kann beispielsweise als ein entsprechendes Warnsignal in Form eines optischen oder akustischen Signals ausgebildet sein.
  • Die Recheneinheit 209 kann beispielsweise in dem Schienenfahrzeug 201, beispielsweise in der Steuerkabine des Schienenfahrzeugs ausgebildet sein. Alternativ kann die Recheneinheit 209 in dem Kamerasensor 205 ausgebildet sein, wobei der Kamerasensor 205 in diesem Fall als ein Smart-Sensor ausgebildet ist. Alternativ kann die Recheneinheit 209 als eine externe Recheneinheit ausgebildet und in einer entsprechenden Überwachungszentrale, beispielsweise in einem Bahnhofsgelände, angeordnet sein.
  • FIG 3 zeigt eine schematische Darstellung von Bilddaten 207 und einer entzerrten Bildaufnahme 213 eines Innenraums 203 einer Fahrgastkabine 202 eines Schienenfahrzeugs 201.
  • FIG 3 zeigt eine Bildaufnahme des Innenraums 203 einer Fahrgastkabine 202, die über einen Kamerasensor 205 mit einem Fisheye-Objektiv ausgenommen wurden. FIG 3 zeigt ferner eine entzerrte Bildaufnahme 213 desselben Innenraums 203. In der entzerrten Bildaufnahme 213 sind die durch das Fischaugenobjektiv hervorgerufenen Verzerrungen der Bilddaten 207 behoben.
  • FIG 4 zeigt eine weitere schematische Darstellung einer entzerrten Bildaufnahme 213 eines Innenraums 203 einer Fahrgastkabine 202 eines Schienenfahrzeugs 201.
  • FIG 4 zeigt eine entzerrte Bildaufnahme 213 des Innenraums 203 der Fahrgastkabine 202 aus FIG 3. In FIG 4 ist die entzerrte Bildaufnahme 213 ferner in eine Mehrzahl verschiedener Bildelemente 215 aufgeteilt. Für jedes Bildelement 215 wird ein entsprechender optischer Fluss 217 berechnet. Der optische Fluss 217 ist in FIG 4 durch die in verschiedene Richtungen weisenden Geschwindigkeitsvektoren 221 beispielhaft dargestellt. In der gezeigten Bildaufnahme 213 sind neben Einrichtungsgegenständen der Fahrgastkabine 202 ferner zwei Fahrgäste 225 dargestellt. Durch die Ermittlung des optischen Flusses 217 für jedes Bildelement 215 und die Ausführung der entsprechend trainierten Bewegungserkennung 211 gemäß den oben beschriebenen Verfahrensschritten kann ein entsprechendes charakteristisches Geschwindigkeitsmuster 218 eines sicherheitsrelevanten Ereignisses ermittelt werden. In der gezeigten Ausführungsform betrifft das sicherheitsrelevante Ereignis eine sicherheitsgefährdende Handlung eines der Fahrgäste 225 gegenüber dem jeweils anderen Fahrgast 225. Durch das entsprechende Training der Bewegungserkennung 211 ist die Bewegungserkennung 211 in der Lage, entsprechende sicherheitsgefährdende Bewegungen von Fahrgästen basierend auf den charakteristischen Geschwindigkeitsmustern 218, die derartige sicherheitsgefährdende Bewegungen mit sich bringen, und den damit verbundenen charakteristischen optischen Flussdaten zu erkennen. Durch die dargestellte Schraffierung können ferner die Bildelemente 215 gekennzeichnet werden, in denen die charakteristischen Geschwindigkeitsmuster 218 der jeweiligen bestimmten Werte des optischen Flusses 217 ein charakteristisches Geschwindigkeitsmuster 218 beschreiben. Hierdurch kann eine Lokalisierung der sicherheitsrelevanten Bewegung des sicherheitsrelevanten Ereignisses innerhalb der Fahrgastkabine 202 bewirkt werden.
  • Aufgrund der positionsunabhängigen Ermittlung der charakteristischen Geschwindigkeitsmuster 218 kann ein derartiges Ereignis durch die Bewegungserkennung 211 aber auch für jedes andere Bildelement 215 erkannt beziehungsweise ermittelt werden.
  • Durch die Berücksichtigung der Information bezüglich der Lichtänderung bzw. des Fahrzustands des Fahrzeugs kann die Bewegungserkennung 211 darauf trainiert werden, optische Flussdaten, die gegebenenfalls ein charakteristisches Geschwindigkeitsmuster 218 aufweisen, das jedoch lediglich auf die Lichtverhältnisse bzw. den Fahrzustand zurückzuführen ist, zur Detektion der sicherheitsrelevanten Ereignisse nicht zu berücksichtigen. Darüber hinaus kann durch die Identifikation der einzelnen Bildelemente 215 die Bewegungserkennung 211 darauf trainiert werden, verschiedene Bildelemente 215, in denen aufgrund der jeweiligen Position innerhalb der Fahrgastkabine 202 ein sicherheitsrelevantes Ereignis nicht zu erwarten ist, bei der Beurteilung bzw. Detektion der sicherheitsrelevanten Ereignisse mit geringerer Priorität zu berücksichtigen.
  • FIG 5 zeigt eine schematische Darstellung eines Histogramms 219 eines optischen Flusses 217.
  • Das gezeigte Histogramm 219 umfasst eine Mehrzahl von Geschwindigkeitsvektoren 221 des für ein Bildelement 215 und den vorbestimmten Zeitraum berechneten optischen Flusses 217. Die verschiedenen Geschwindigkeitsvektoren 221 des optischen Flusses 217 sind auf vorbestimmte Raumrichtungen 223 projiziert. Das gezeigte Histogramm 219 ist lediglich beispielhaft. Insbesondere kann die Anzahl verschiedener Raumrichtungen 223 von der hier gezeigten Anzahl abweichen.
  • FIG 6 zeigt ein Flussdiagramm eines Verfahrens 300 zum Trainieren einer Bewegungserkennung 211 gemäß einer Ausführungsform.
  • Das erfindungsgemäße Verfahren 300 zum Trainieren einer Bewegungserkennung 211 kann beispielsweise durch eine Recheneinheit 209 gemäß der in FIG 1 gezeigten Ausführungsform ausgeführt werden.
  • Zum Trainieren der Bewegungserkennung 211 wird zunächst in einem Verfahrensschritt 301 ein Trainingsdaten erstellt, wobei der Trainingsdatensatz Werte eines optischen Flusses 217 für eine Mehrzahl von Bildelementen 215 von Bilddaten 207 wenigstens eines Innenraums 203 wenigstens einer Fahrgastkabine 202 wenigstens eines Schienenfahrzeugs 201 umfasst.
  • Hierzu wird zunächst in einem Verfahrensschritt 305 ein Satz von Bilddaten 207 erstellt. Die Bilddaten 207 können hierbei beliebige Fahrgastkabinen 202 von beliebigen Schienenfahrzeugen 201 abbilden und von unterschiedlichen Kamerasensoren 205 stammen. Die Bilddaten 207 sind bevorzugt Videodaten, die wenigstens einen Innenraum 203 einer entsprechenden Fahrgastkabine 202 abbilden. Die Bilddaten 207 umfassen hierbei jeweils sicherheitsrelevante Ereignisse gemäß den oben beschriebenen Ausführungsformen. In den Bilddaten können beispielsweise entsprechende Szenen eines gewalttätigen oder sichergefährdenden Verhalten von Personen bzw. Fahrgästen oder ein anderes sicherheitsrelevantes Ereignis nachgespielt bzw. simuliert sein. Da erfindungsgemäß nicht tatsächliche Aktionen der gefährdenden Handlungen sondern lediglich charakteristische Geschwindigkeitsmuster detektiert werden, können durch das Nachspielen bzw. Simulieren der tatsächlichen Aktionen aussagekräftige Trainingsdaten erstellt werden, auf deren Basis ein präzises Training der Bewegungserkennung 211 durchgeführt werden kann. Alternativ oder zusätzlich können die Trainingsdaten aber auch reale Bilddaten bzw. Videodaten von real aufgetretenen sicherheitsrelevanten Ereignissen, beispielsweise von gewalttätigen Übergriffen oder von Unfällen von Personen innerhalb der Fahrgastkabine oder von Unfallsituationen des Schienenfahrzeugs, umfassen. Der Trainingsdatensatz kann beispielsweise ein Kombination von Bilddaten von simulierten und realen sicherheitsrelevanten Ereignissen umfassen.
  • In einem Verfahrensschritt 313 werden die Bilddaten 207 entzerrt und eine entzerrte Bildaufnahme 213 aufgenommen. Die Entzerrung kann hierbei gemäß dem oben beschriebenen Verfahrensschritt 109 ausgeführt werden.
  • In einem weiteren Verfahrensschritt 315 wird die entzerrte Bildaufnahme 213 in eine Mehrzahl von Bildelementen 215 aufgeteilt. Die Aufteilung der entzerrten Bildaufnahme 213 kann hierbei gemäß dem oben beschriebenen Verfahrensschritt 111 ausgeführt werden.
  • Analog zu den obigen Ausführungen sind die Bilddaten 207 beispielsweise als Videodaten ausgebildet und umfassen eine Mehrzahl zeitlich aufeinanderfolgender Frames.
  • In einem weiteren Verfahrensschritt 307 wird darauffolgend für jedes der Bildelemente 215 ein optischer Fluss 217 ermittelt. Die Bestimmung des optischen Flusses 217 kann hierbei analog zu den Verfahrensschritten 103 bzw. 113 ausgeführt werden.
  • In einem weiteren Verfahrensschritt 309 wird für jedes Bildelement 215 ein Histogramm 219 berechnet, wobei das Histogramm 219 gemäß den oben beschriebenen Ausführungen eine Mehrzahl von Geschwindigkeitsvektoren 221 des für das jeweilige Bildelement 215 bestimmten optischen Flusses 217 umfasst, wobei die Geschwindigkeitsvektoren 221 auf vorbestimmte Raumrichtungen 223 projiziert sind. Das Erstellen des Histogramms 219 kann analog zum oben beschriebenen Verfahrensschritt 119 ausgeführt werden.
  • Zusätzlich wird in einem Verfahrensschritt 317 für jedes Bildelement 215 eine Lichtänderung ermittelt. Die Lichtänderung kann hierbei gemäß dem oben beschriebenen Verfahrensschritt 121 bestimmt werden.
  • In einem weiteren Verfahrensschritt 319 wird für jedes Bildelement 215 ein Fahrzustand des jeweiligen Schienenfahrzeugs 201 bestimmt. Der Fahrzustand kann analog zu dem oben beschriebenen Verfahrensschritt 123 ermittelt werden.
  • In einem weiteren Verfahrensschritt 321 kann jedem Bildelement 215 eine entsprechende Identifikation zugeordnet werden.
  • In einem weiteren Verfahrensschritt 323 werden die Informationen bezüglich der Lichtänderung, des Fahrzustands bzw. der Identifikation für jedes Bildelement 215 mit den Informationen bezüglich des optischen Flusses 217 des jeweiligen Bildelements 215 kombiniert. Eine Kombination der Information kann beispielsweise in Form eines entsprechenden Eigenschaftsvektors bewirkt werden.
  • In einem weiteren Verfahrensschritt 311 werden ferner die Informationen des Trainingsdatensatzes 227 annotiert und demzufolge die charakteristischen Geschwindigkeitsmuster 218, die in den jeweiligen optischen Flussdaten widergespiegelt sind, entsprechend als vorliegende sicherheitsrelevante Ereignisse gekennzeichnet.
  • Basierend auf einem derart erstellten Trainingsdatensatz 227 wird darauffolgend in einem Verfahrensschritt 303 die Bewegungserkennung 211 auf das Erkennen von sicherheitsrelevanten Ereignissen basierend auf den Informationen des optischen Flusses 217 der Bilddaten 207 trainiert. Das Training kann hierbei durch Ausführung von aus dem Stand der Technik bekannten Trainingsmethoden des maschinellen Lernens ausgeführt werden.
  • FIG 7 zeigt eine schematische Darstellung eines Computerprogrammprodukts 400, umfassend Befehle, die bei der Ausführung des Programms durch eine Recheneinheit dieses veranlassen, das Verfahren 100 zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs und/oder das Verfahren 300 zum Trainieren einer Bewegungserkennung auszuführen.
  • Das Computerprogrammprodukt 400 ist in der gezeigten Ausführungsform auf einem Speichermedium 401 gespeichert. Das Speichermedium 401 kann hierbei ein beliebiges aus dem Stand der Technik bekanntes Speichermedium sein.
  • Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.

Claims (15)

  1. Verfahren (100) zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine (202) eines Schienenfahrzeugs (201), umfassend:
    - Empfangen (101) von Bilddaten (207) eines einen Innenraum (203) der Fahrgastkabine (202) des Schienenfahrzeugs (201) einsehenden Kamerasensors (205);
    - Bestimmen (103) eines optischen Flusses (217) von wenigstens einem Bildelement (215) der Bilddaten (207) für einen vorbestimmten Zeitraum;
    - Erkennen (105) eines sicherheitsrelevanten Ereignisses anhand eines charakteristischen Geschwindigkeitsmusters (218) des bestimmten optischen Flusses (217) durch Ausführen einer Bewegungserkennung (211) auf den bestimmten optischen Fluss (217), wobei das sicherheitsrelevante Ereignis eine sicherheitsgefährdende Bewegung eines Objekts innerhalb der Fahrgastkabine (202) umfasst; und
    - Ausgeben (107) einer das sicherheitsrelevante Ereignis betreffenden Warnmeldung.
  2. Verfahren (100) nach Anspruch 1, wobei das Bestimmen (103) des optischen Flusses umfasst:
    - Entzerren (109) der Bilddaten (207) des Kamerasensors (205) und Erstellen einer entzerrten Bildaufnahme (213) der Fahrgastkabine (202);
    - Aufteilen (111) der entzerrten Bildaufnahme (213) in eine Mehrzahl von Bildelementen (215); und
    - Bestimmen (113) des optischen Flusses (217) für jedes der Bildelemente (215).
  3. Verfahren (100) nach Anspruch 2, wobei das Bestimmen des optischen Flusses umfasst:
    - Ermitteln (115) einer markanten Stelle innerhalb eines jeden Bildelements (215) der entzerrten Bildaufnahme (213);
    - Bestimmen (117) des optischen Flusses (217) für jeweils zwei zeitlich unmittelbar aufeinanderfolgender Frames der Bilddaten anhand der ermittelten markanten Stellen für jedes Bildelement (215); und
    - Erstellen (119) eines Histogramms (219) des bestimmten optischen Flusses (217) für die Frames der Bildaufnahme während des vorbestimmten Zeitraums.
  4. Verfahren (100) nach Anspruch 3, wobei das Ermitteln (115) von markanten Stellen innerhalb der Bildelemente (215) durch Ausführen eines Interest-Operators bewirkt wird, und wobei der Interest-Operator durch einen Harris Eckpunkt-Detektions-Algorithmus oder einen Shi-Tomasi-Algorithmus gegeben ist.
  5. Verfahren (100) nach Anspruch 3 oder 4, wobei der bestimmte optische Fluss (217) eines Bildelements (215) für jeweils zwei aufeinanderfolgende Frames wenigstens einen Geschwindigkeitsvektor (221) mit einer Geschwindigkeitsrichtung und einem Geschwindigkeitswert umfasst, wobei im Histogramm (219) eine Mehrzahl von Geschwindigkeitsvektoren (221) des optischen Flusses (217) für eine Mehrzahl zeitlich aufeinander folgender Frames dargestellt ist, und wobei im Histogramm (219) die Geschwindigkeitsvektoren (221) des optischen Flusses der Mehrzahl von Frames auf vorbestimmte Raumrichtungen (223) projiziert sind.
  6. Verfahren (100) nach einem der voranstehenden Ansprüche, ferner umfassend:
    - Bestimmen (121) einer Lichtänderung innerhalb jedes Bildelements (215) für den vorbestimmten Zeitraum; und/oder
    - Ermitteln (123) eines Fahrzustands des Schienenfahrzeugs (201); und/oder
    - Zuweisen (125) einer Identifikation zu jedem Bildelement (215); und
    - Kombinieren (127) des bestimmten optischen Flusses (217) des jeweiligen Bildelements (215) mit der Information der Lichtänderung innerhalb eines Bildelements und/oder der Information des Fahrzustands des Zuges und/oder der Identifikation eines Bildelements, wobei das sicherheitsrelevante Ereignis basierend auf der kombinierten Information erkannt wird.
  7. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei die sicherheitsgefährdende Bewegung umfasst:
    eine sicherheitsgefährdende Handlung eines Fahrgasts (225) gegenüber einem weiteren Fahrgast und/oder eine sicherheitsgefährdende unvorhergesehene Öffnung einer Tür des Schienenfahrzeugs und/oder eine Beschädigung des Schienenfahrzeugs (201) in Form eines Zerbrechens einer Scheibe.
  8. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei Bilddaten (207) Daten einer innerhalb der Fahrgastkabine (202) des Schienenfahrzeugs (201) installierten CCTV-Kamera sind.
  9. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei der optische Fluss (217) durch Ausführen eines Lucas-Kanade-Algorithmus bestimmt wird.
  10. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei die Bewegungserkennung (211) als eine trainierte künstliche Intelligenz ausgebildet ist, und wobei die künstliche Intelligenz darauf trainiert ist, basierend auf den charakteristischen Geschwindigkeitsmustern (218) des bestimmten optischen Flusses (217), eine sicherheitsgefährdende Bewegung eines Objekts innerhalb der Fahrgastkabine (202) zu ermitteln.
  11. Verfahren (300) zum Trainieren einer Bewegungserkennung (211) nach einem der voranstehenden Ansprüche 1 bis 10, umfassend:
    - Erstellen (301) eines Trainingsdatensatzes (227), wobei der Trainingsdatensatz (227) Werte eines optischen Flusses (217) für eine Mehrzahl von Bildelementen (215) von Bilddaten (207) wenigstens eines Innenraums (203) wenigstens einer Fahrgastkabine (202) wenigstens eines Schienenfahrzeugs (201) umfasst;
    - Ausführen (303) der Bewegungserkennung (211) auf den Trainingsdatensatz (227) und Trainieren der Bewegungserkennung (211) auf ein Erkennen eines sicherheitsrelevanten Ereignisses anhand eines charakteristischen Geschwindigkeitsmusters (218) des bestimmten optischen Flusses (217) durch maschinelles Lernen, wobei das sicherheitsrelevante Ereignis eine sicherheitsgefährdende Bewegung eines Objekts innerhalb der Fahrgastkabine umfasst.
  12. Verfahren (100) nach Anspruch 11, wobei das Erstellen (301) des Trainingsdatensatzes umfasst:
    - Erstellen (305) eines Satzes von Bilddaten (207) wenigstens eines Innenraums (203) einer Fahrgastkabine (202) wenigstens eines Schienenfahrzeugs (201), wobei die Bilddaten (207) sicherheitsrelevante Ereignisse abbilden;
    - Bestimmen (307) des optischen Flusses (217) für die Mehrzahl von Bilddaten (207), wobei der optische Fluss (217) für eine Mehrzahl von Bildelementen (215) der Bilddaten (207) und für eine Mehrzahl von Frames der Bilddaten (207) innerhalb eines vorbestimmten Zeitraums berechnet wird;
    - Erstellen (309) für jedes Bildelement (215) für die Mehrzahl von Frames während des vorbestimmten Zeitraums eines Histogramms (219) des optischen Flusses (217) durch Projizieren von Geschwindigkeitsvektoren (221) des optischen Flusses (217) auf vorbestimmte Raumrichtungen (223); und
    - Annotieren (311) des Trainingsdatensatzes (227) und Kennzeichen der charakteristischen Bewegungsmuster von sicherheitsrelevanten Ereignissen.
  13. Verfahren (100) nach Anspruch 12, wobei das Erstellen des Satzes von Bilddaten (305) umfasst:
    - Entzerren (313) der Bilddaten (207) und Erstellen von entzerrten Bildaufnahmen (213); und
    - Aufteilen (315) der entzerrten Bildaufnahmen (213) in eine Mehrzahl von Bildelementen (215);
    wobei das Erstellen (301) des Trainingsdatensatzes ferner umfasst:
    - Bestimmen (317) einer Lichtänderung innerhalb jedes Bildelements (215) für den vorbestimmten Zeitraum; und/oder
    - Ermitteln (319) eines Fahrzustands des jeweiligen Schienenfahrzeugs; und/oder
    - Zuweisen (321) einer Identifikation zu jedem Bildelement; und
    - Kombinieren (323) des bestimmten optischen Flusses (217) des jeweiligen Bildelements (215) mit der Information der Lichtänderung innerhalb eines Bildelements (215) und/oder der Information des Fahrzustands des Zuges und/oder der Identifikation eines Bildelements (215).
  14. Recheneinheit (209), wobei die Recheneinheit (209) ausgebildet ist, das Verfahren (100) zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine (202) eines Schienenfahrzeugs (201) nach einem der voranstehenden Ansprüche 1 bis 10 und/oder ein Verfahren (300) zum Trainieren einer Bewegungserkennung (211) nach einem der voranstehenden Ansprüche 11 bis 13 auszuführen.
  15. Computerprogrammprodukt (400) umfassend Befehle, die bei der Ausführung des Programms durch eine Datenverarbeitungseinheit diese veranlassen, das Verfahren (100) zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs nach einem der voranstehenden Ansprüche 1 bis 10 und/oder ein Verfahren (300) zum Trainieren einer Bewegungserkennung (211) nach einem der voranstehenden Ansprüche 11 bis 13 auszuführen.
EP22173166.4A 2021-07-01 2022-05-13 Verfahren zum erkennen eines sicherheitsrelevanten ereignisses innerhalb einer fahrgastkabine eines schienenfahrzeugs Pending EP4112420A1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021206914.2A DE102021206914A1 (de) 2021-07-01 2021-07-01 Verfahren zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs

Publications (1)

Publication Number Publication Date
EP4112420A1 true EP4112420A1 (de) 2023-01-04

Family

ID=81653705

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22173166.4A Pending EP4112420A1 (de) 2021-07-01 2022-05-13 Verfahren zum erkennen eines sicherheitsrelevanten ereignisses innerhalb einer fahrgastkabine eines schienenfahrzeugs

Country Status (2)

Country Link
EP (1) EP4112420A1 (de)
DE (1) DE102021206914A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230410538A1 (en) * 2022-05-30 2023-12-21 Toyota Connected North America, Inc. Vehicle-related projectile minimization
CN117315782A (zh) * 2023-10-08 2023-12-29 南京实德信息技术有限公司 一种用于采集分析地铁不文明行为的系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007031302A1 (de) * 2007-07-05 2009-01-08 Robert Bosch Gmbh Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer Überwachungsszene, Verfahren sowie Computerprogramm
EP3499473A1 (de) * 2017-12-15 2019-06-19 Siemens Mobility GmbH Automatisiertes detektieren von gefahrensituationen

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10341426A1 (de) 2003-09-09 2005-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Raumüberwachung und Raumüberwachungsanlage
MY200192A (en) 2018-11-29 2023-12-13 Mimos Berhad A system and method for detecting aggressive behaviour
DE102019206233A1 (de) 2019-04-30 2020-11-05 Siemens Mobility GmbH Verfahren zur Bereitstellung von Trainingsdaten für adaptierbare Situationserkennungsalgorithmen sowie Verfahren zur automatisierten Situationserkennung von Betriebssituationen eines Fahrzeugs zur öffentlichen Personenbeförderung
CN110765964B (zh) 2019-10-30 2022-07-15 常熟理工学院 基于计算机视觉的电梯轿厢内异常行为的检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007031302A1 (de) * 2007-07-05 2009-01-08 Robert Bosch Gmbh Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer Überwachungsszene, Verfahren sowie Computerprogramm
EP3499473A1 (de) * 2017-12-15 2019-06-19 Siemens Mobility GmbH Automatisiertes detektieren von gefahrensituationen

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SONI UTKARSH ET AL: "Real-time hand tracking using integrated optical flow and CAMshift algorithm", 2016 SECOND INTERNATIONAL CONFERENCE ON RESEARCH IN COMPUTATIONAL INTELLIGENCE AND COMMUNICATION NETWORKS (ICRCICN), IEEE, 23 September 2016 (2016-09-23), pages 135 - 140, XP033039959, DOI: 10.1109/ICRCICN.2016.7813645 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230410538A1 (en) * 2022-05-30 2023-12-21 Toyota Connected North America, Inc. Vehicle-related projectile minimization
CN117315782A (zh) * 2023-10-08 2023-12-29 南京实德信息技术有限公司 一种用于采集分析地铁不文明行为的系统及方法

Also Published As

Publication number Publication date
DE102021206914A1 (de) 2023-01-05

Similar Documents

Publication Publication Date Title
DE102015104954B4 (de) Sichtbasiertes Überwachungssystem zur Validierung von Aktivitätssequenzen
DE69322306T2 (de) Gegenstandserkennungssystem mittels Bildverarbeitung
DE102012223481B4 (de) Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs
EP3977430B1 (de) Verfahren und vorrichtung zur detektion von rauch
EP4222039A1 (de) Optische schienenwegerkennung
EP4112420A1 (de) Verfahren zum erkennen eines sicherheitsrelevanten ereignisses innerhalb einer fahrgastkabine eines schienenfahrzeugs
EP2174260A2 (de) Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
EP2517149A2 (de) Vorrichtung und verfahren zum überwachen von videoobjekten
DE602005003856T2 (de) Überwachung der Umgebung eines mobilen Körpers
EP4088224A1 (de) Verfahren zur zusammenführung mehrerer datensätze für die erzeugung eines aktuellen spurmodells einer fahrbahn und vorrichtung zur datenverarbeitung
EP3968213A1 (de) Verfahren und vorrichtung zum ermitteln eines gleisgebundenen schienenpfades in einer gleisanlage
DE102020201939A1 (de) Verfahren und Vorrichtung zur Bewertung eines Bildklassifikators
DE102019132012B4 (de) Verfahren und System zur Detektion von kleinen unklassifizierten Hindernissen auf einer Straßenoberfläche
DE112018007442T5 (de) Datensynchronisationsvorrichtung, datensynchronisationsverfahren und datensynchronisationsprogramm
DE102017206396B4 (de) Steuerverfahren, Steuereinheit, Umfelderfassungssystem und mobile und/oder stationäre Einrichtung
DE102009024066A1 (de) Verfahren und Vorrichtung zum Klassifizieren von Situationen
DE102016223094A1 (de) Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
WO2022228809A1 (de) Verfahren und vorrichtung zur vorhersage von objektdaten zu einem objekt
WO2011039351A1 (de) Verfahren und vorrichtung zum erkennen einer fehldetektion eines objekts in einem bild
DE102018222683A1 (de) Verfahren zum Erstellen einer Umgebungsrepräsentationskarte zur Überwachung eines Fahrzeugs und/oder eines Fahrzeuganhängers unter Verwendung eines Kamerasystems
EP3616858A2 (de) Verfahren und vorrichtung zur dokumentation eines status eines autonomen roboters
DE102021208423A1 (de) Verfahren und Computerprogramm zum Absichern eines Wahrnehmungssystems gegen Kontaminationen eines Bildgebungssensors des Wahrnehmungssystems und Wahrnehmungssystem eines automatisierten Fahrsystems
DE102018217834A1 (de) Verfahren und System zum Betreiben einer Erfassungs- und Anzeigevorrichtung
DE102024133616A1 (de) System zur verbesserung von augenaufschlagsvorhersagen für insassen in einem fahrzeug und verfahren dazu

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230703

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS MOBILITY GMBH

RIC1 Information provided on ipc code assigned before grant

Ipc: B61L 15/00 20060101AFI20260224BHEP

Ipc: G08B 13/196 20060101ALI20260224BHEP

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED