EP3523175A1 - Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur fahrspurbasierten bildanalyse im bahnverkehr, insbesondere zur gleisbasierten bildanalyse im schienenverkehr - Google Patents

Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur fahrspurbasierten bildanalyse im bahnverkehr, insbesondere zur gleisbasierten bildanalyse im schienenverkehr

Info

Publication number
EP3523175A1
EP3523175A1 EP17829135.7A EP17829135A EP3523175A1 EP 3523175 A1 EP3523175 A1 EP 3523175A1 EP 17829135 A EP17829135 A EP 17829135A EP 3523175 A1 EP3523175 A1 EP 3523175A1
Authority
EP
European Patent Office
Prior art keywords
lane
image
track
fsb
rail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP17829135.7A
Other languages
English (en)
French (fr)
Inventor
Andreas Schaefer-Enkeler
Andreas Schönberger
Christopher Drexler
Wolfgang Trumler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Publication of EP3523175A1 publication Critical patent/EP3523175A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0072—On-board train data handling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/042—Track changes detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • B61L25/02—Indicating or recording positions or identities of vehicles or trains
    • B61L25/025—Absolute localisation, e.g. providing geodetic coordinates
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • B61L25/02—Indicating or recording positions or identities of vehicles or trains
    • B61L25/026—Relative localisation, e.g. using odometer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/04—Automatic systems, e.g. controlled by train; Change-over to manual control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/20—Trackside control of safe travel of vehicle or train, e.g. braking curve calculation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/70—Details of trackside communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the invention relates to a method for lane-based image analysis in rail traffic, in particular for track-based image analysis in rail traffic according to the preamble of patent claim 1, an apparatus for lane-based image analysis in rail traffic, especially for track-based image analysis in rail traffic according to the preamble of claim 11 and a railway vehicle for lane-based image analysis in rail traffic, in particular rail vehicle for track-based image analysis in rail traffic, according to the preamble of claim 26.
  • Rail vehicles are part of a modern traffic infrastructure track-bound transport and transport, for example, rolling on or under of one or two rails (tracks), floating above or below a magnetic field or hanging on steel cables move.
  • rail-bound transport and transport means are rail vehicles based on a wheel-rail system which are either pulled or pushed by their own traction drive (railcar) or by a locomotive and predominantly steel wheels with a wheel flange on two steel rails railways are the most widespread.
  • the underlying the invention object is to provide a method, a device and a railway vehicle, insbesonde ⁇ re rail vehicle, to specify the lane based image analysis in rail traffic, in particular for track-based image analysis in rail transport, with or automated (autonomous) or assisted driving the railway vehicles Rail vehicles without additional infrastructure along a route is improved.
  • the above-mentioned context-related object is achieved on the basis of the image analysis method defined in the preamble of patent claim 1 by the features specified in the characterizing part of patent claim 1.
  • the above-mentioned contextual object is achieved on the basis of the image analysis device defined in the preamble of patent claim 11 by the features specified in the characterizing part of claim 11.
  • Edge detection algorithms to recognize the course of a lane / track, which is used by the railway vehicle by a changing in the captured image portion of the lane / track to the entire picture captured and compared with stored known image metadata, these both lane-related or track ⁇ related primary metadata as well as railway-related res ⁇ pective rail-track related secondary metadata enthal ⁇ th.
  • the image meta information includes feature and characteristic data of the lane / track area recorded in the images.
  • the basic principle of the invention is, by means of an automated evaluation of the images, a part of the traffic lane / traffic lane that is visible in the respective image Identify tracks so that preferably (in advantageous developments) the following objectives are achieved:
  • a first step (a, for example, or more Rickak- quisitions confuse such as video cameras, laser sensors, Infrarotka ⁇ ra, thermal imaging cameras, radar devices, other Rickak- quisitions confuse, etc.) with the aid of at least one image recording apparatus a plurality of images from the web ⁇ vehicle from, for example, from the perspective of the railcar driver, he ⁇ summarized or recorded.
  • a first step (a, for example, or more Rickak- quisitionsetti such as video cameras, laser sensors, Infrarotka ⁇ ra, thermal imaging cameras, radar devices, other Schmak- quisitionstechnik, etc.) with the aid of at least one image recording apparatus a plurality of images from the web ⁇ vehicle from, for example, from the perspective of the railcar driver, he ⁇ summarized or recorded.
  • extension of the invention but also images of several image recording devices or image acquisition devices of the same type (eg, two video cameras) for mutual validation and synthesis of the results can be used.
  • extension of the invention but also images of a plurality of image recording devices and image acquisition devices of different type (eg, a video camera and a réelle brieflyka ⁇ ra) may be used for mutual validation and synthesis of the results.
  • non-imaging sensors such as radar, ultrasound or laser can be used to validate the image information.
  • the area at the near bottom of the screen is considered, because the lanes / tracks there are within We ⁇ sentlichen at the same location, while it is preferably the case that the image recording apparatus is fixedly mounted in the railway vehicle / rail vehicle.
  • edge detection algorithms which are used in a standard image processing, the profile of the lane traveled / busy of the track can be detected on the proportions lane / the track at the bottom of starting. a.
  • the maximum degree of bending of tracks / tracks can be taken into account in order to avoid false identifications of tracks).
  • the traveled lane / track can also be detected across points, in which the continuous guide rail of the track is detected.
  • metadata about the lane / track known is used, in particular the distance between the parallel laid rails and the width of the rail head.
  • Metadata about the route which are known, are used, for example at which geo ⁇ graphical positions railroad crossings, points or signal systems are.
  • Metadata about the distance of the signal system can then be used as follows.
  • the busy lane / the busy track is detected from step 2).
  • ii. An imaginary lane / a planned track GERADEAUS can easily be generated artificially, since the well-known busy lane / the well-known track at the bottom of the picture must be updated only linearly.
  • the busy lane / track LINKS is from the imaginary "STRAIGHT SEE lane” / the imaginary "STRAIGHT SEE track”, then it is a left turn. From the Ab ⁇ state of the traffic track of the intended "straight ahead lane” / a "STRAIGHT-track” and the distance from the vehicle (imaginary be calculated from the width of the lane / the track at the lower edge and the width of the lane / the track in each relevant image section), the degree of left curvature can be calculated.
  • the busy lane / track in the picture and a critical area to the left and right of the lane / track can be divided into several analysis sections with increasing distance from the vehicle.
  • the critical loading can ⁇ rich depending on the environment of the lane / the track (town ⁇ area vs. Country) different be broadly defined).
  • a standard for analysis section a standard for analysis section.
  • Pattern algorithm used to identify persons who ⁇ is a pattern algorithm used to identify persons who ⁇ .
  • the analysis sections of several consecutive images can be related to detect movement of persons and track their movement to predict potential collisions. IV. Detecting how far a railway vehicle is from an object
  • the distance to the object can be calculated.
  • the regular pattern of the lane / between the tracks is formed by a lane carrier / track carrier, used as a basis for the detection of irregularities. If an irregularity is detected (eg Beautyse or
  • the permissibility of the irregularity can take place by comparison with an image database. For example, In an initialization run, all irregularities can be recorded over all images of a route and then provided for adjustment.
  • the left or right curvature of a lane / a track can be detected.
  • the distance of a railway vehicle from objects / persons on a lane / track or in the critical area to the left or next to the lane / track can be calculated.
  • the following additional components - a) to c) for the image recording device may be used in relation to the image analysis device according to claim 11:
  • a correction component according to claim 21, weather ⁇ and brightness data for the evaluation of the photographic material with includes.
  • the evaluation of video images can be limited to the first 50 meters in front of the rail vehicle or rail vehicle and the speed of the vehicle can be throttled accordingly.
  • both shooting scenes on the open road can then (need pictures from a distance to view reagie ⁇ ren due to the speed to be able to) and shooting situations in Vietnamesesbe- rich (need images with a high width) be operated suitable.
  • a lighting component according to claim 23 ⁇ example, a headlight of the inside or outside of the human visible range lent operates, through which the Qua ⁇ formality of ons réelle from the image recording device or Profakquisiti- at night or in bad weather captured image material improves.
  • an image analysis device is formed as a virtual machine in the sense of "Software Defined signal recognition of Rail Traffic Systems" ⁇ and working.
  • FIG. 1 shows a lane-based image analysis for the recognition of route installations on a railway line and route
  • FIGURE 2 is a lane-based image analysis for object detection of a residing on a lane of a railway person
  • FIGURE 3 shows a basic structure of an image analysis device for the lane-based according to FIGS 1 and 2 ⁇ image analysis.
  • FIG. 1 shows a lane-based image analysis for the recognition of a route system SAL, such as e.g. a railroad crossing BÜG,
  • the lane ⁇ related railway line BST of the rail network BNE is a rail track SST of a rail network SNE, on which a rail vehicle SFZ on a rail GL and traveling in the rails ⁇ traffic SVK for a track-based image analysis to detect the track system SAL is the track system SAL on the track GL approaches.
  • a rail vehicle SFZ on a rail GL and traveling in the rails ⁇ traffic SVK for a track-based image analysis to detect the track system SAL is the track system SAL on the track GL approaches.
  • Rail network SNE moving rail vehicle SFZ is here again due to the discussion at the outset any other arbitrary short- or long-distance based rail transport system as a further embodiment of the invention conceivable and conceivable.
  • a maglev system (Stw .: Transrapid, Maglev, etc.) would also have a comparable infrastructure. consisting of railway network, railway line and railway vehicle, in question.
  • a picture analysis device BAV is provided in a railcar TRW of the rail vehicle SFZ with a driver's cab TFS and an integrated display device AZE, in which the workstation of the vehicle driver FZF is located, for the track-based image analysis for recognizing the route system SAL accommodated.
  • the image analysis device BAV includes for this purpose a preferably as a sensor formed image on ⁇ drawing device BAZG, which for example is formed as an ordinary video camera, laser sensor, thermal imager, radar equipment, infrared camera, etc., and because of acquisition of pic- tures is also referred to as an image acquisition device.
  • the rail vehicle SFZ traveling on the track GL approaches the signal system SI, AL, it starts from the rail vehicle SFZ, eg from the perspective of the railcar driver FZF in the driver's seat TFS of the railcar TRW and / or from a stationary, lane-based position in or on the vehicle SFZ, from a track of the rail vehicle SFZ, thereby preferably oriented to the speed of the rail vehicle SFZ, track area GLB a plurality of the track area GLB representing images BI GLB detectable.
  • a plurality of images BI FSB representing the traffic lane area FSB can be detected by a lane area FSB which is located upstream of the rail vehicle BFZ and preferably orientates itself to the speed of the rail vehicle BFZ.
  • the images BI FSB , BI GLB of the traffic lane area FSB, GLB each contain an image area BIB, in which lanes FS, GL detected in relation to the depicted traffic lane area FSB, GLB are substantially at the same location based on these portions of the detected lanes FS, GL with the aid of edge detection algorithms, the course of a lane FS, GL used by the railway vehicle BFZ, SFZ is detected by an image portion of the lane FS, GL changing in the acquired image to form the captured overall image.
  • a partial picture region BTB in the images BI FSB, BI GLB is for a currently determined geographical position of the railway vehicle BFZ, SFZ, in which the signal SI of the plant AL can be seen as a striking abutment feature of the routes ⁇ plant SAL.
  • this partial picture region BTB has a first image portion BAS1, by the used of the railway vehicle BFZ, SFZ lane FS, GL throughput leads, and a second image portion BAS2 wherein letz ⁇ more excellent for the route-detection, that is, the respective detecting a STRAIGHT-EAUS direction, LEFT-direction or
  • GL is relevant.
  • BI FSB BI glb of Fahrspurbe ⁇ richs FSB
  • GLB image area contained therein BIB
  • the image subregion BTB with the two image sections BAS 1, BAS 2
  • the image analysis for distance system detection and the detection of the signal system SI, AL and track detection is explained below with the description of FIG.
  • FIGURE 2 shows a lane-based image analysis for personnel ⁇ identifier in the rail BVK if on the off again cut as shown railway line BST of the rail network BNE the railway vehicle BFZ on the lane FS of the railway line BST at least one object OBJ, preferably a per ⁇ son, an animal, a movable or stationary object, is located in the area of the lane foreign and actually have to look for anything, so are there inadmissible.
  • object OBJ preferably a per ⁇ son, an animal, a movable or stationary object
  • the lane-related railway BST of the railway network BNE is here again the rail line SST of the rail network SNE, on which rail transport company SVK travels on track GL for rail-based image analysis for object recognition and approaches the object OGJ.
  • rail transport SVK illustrated with the vehicle running on the railway line SST of the rail network SNE rail vehicle SFZ any other x-any short or long distance based web transport system is here also conceivable as a white ⁇ teres embodiment of the invention, because of a ⁇ gangs guided discussion and imaginable.
  • a maglev system (Stw .: Transrapid, Maglev, etc.) with a correspondingly comparable infrastructure consisting of rail network, railway line and railway vehicle would also be suitable.
  • the image analysis device BAV is again provided in the railcar TRW of the rail vehicle SFZ with the driver's seat TFS and the integrated display device AZE, in which the workstation of the vehicle driver FZF is located, for the track-based image analysis for object recognition accommodated.
  • the image analysis apparatus includes BAV this again preferably formed as a sensor Bil ⁇ daufconces réelle BAZG which, for example as ordinary Videoka ⁇ ra, laser sensor, thermal imager, radar device Inf- rarotski etc., is formed.
  • the image area BIB is again contained, in which lanes FS, GL detected in relation to the depicted traffic lane area FSB, GLB lie substantially at the same location and starting from these proportions of the detected lanes FS, GL using the Kantenerkennungsalgo ⁇ algorithms of the course of the loading took advantage of the railway vehicle BFZ, SFZ lane FS, GL is detected by a changing in the captured image image portion of the lane FS, GL to the detected picture ,
  • a third image section BAS3 is contained in the images BI FSB , BI GLB , in which the object OBJ is ⁇ .
  • FIGURE 3 shows the basic structure of the Consul analysesvor- direction BAV for the lane-based image analysis for Stre ⁇ ckenstrom- and route-detection according to the FIGURE 1 and for object recognition according to the FIGURE 2, when the rail vehicle BFZ, SFZ, which on the lane FS , GL is on the road, according to the FIGURE 1 of the track system SAL or the signal giving or leading system AL on the railway line
  • the image recording device BAZG is preferably designed to be pivotable for alignment with the image object.
  • image recording devices BAZG the same design, eg multiple video cameras, or devices un ⁇ ferent type, eg multiple video cameras, laser sensors, RADAR-based, based on radio-based location and distance ⁇ measurement sensors, infrared cameras and / or thermal imaging cameras, are included in the image analysis device BAV, which receive the images BI FSB, BI GLB.
  • Such a multiple execution of the image recording or Profakquirie- tion may be relevant for redundancy purposes, among others.
  • a correction component KOK be included with the weather and Hellig ⁇ keitschal for the evaluation of the photographic material.
  • this component it is possible, for example, to limit the evaluation of video images to the first 50 meters in front of the rail vehicle in heavy fog and to throttle the speed of the rail vehicle accordingly.
  • a focal length variation component BVK in depen ⁇ dependence on the environment (eg station, city, country, etc.) and the speed chooses the right angle, so the evaluation of the image optimally under support alarm ⁇ zen.
  • ⁇ to additionally particularly interesting areas along the railway track in the rail network SST SNE can be focused by fusion of image data and link data, such as a railway crossing.
  • a lighting component BLK which is formed for example as a spotlight operating inside or outside the human visual range, and by which the quality of the captured from the image recording device or the image acquisition apparatus BAZG at night or in bad Witte ⁇ tion picture material improves .
  • the images thus captured are stored by the image recording device BAZG in an image storage device BSPE.
  • This image storage device BSPE is either connected according to option "A" as a component of the image analysis device BAV with the image recording device BAZG or according to option "B" outside the image analysis device BAV, eg as a storage database, in the railcar or in a data cloud associated with the image recording device BAZG or .with this connectable.
  • the image recorder BAZG is connected to a calculation / evaluation BAWE, which is also a component of the image analysis device BAV is.
  • the calculation / Ausenseeinrich- tung BAWE as the image recording apparatus BAZG either ge ⁇ Telss with said image memory means BSPE option "A" connected to or assigned according to option "B” of the image memory means BSPE or connectable therewith.
  • an information database IDB For the formation of a complete functional unit, in which the subunits involved functionally cooperate, said functional subunit is extended by a further subunit, an information database IDB.
  • the information database IDB can thereby be beispielswei ⁇ se integrated with the image storage device BSPE as a structural unit in a common storage device.
  • memory ⁇ apparatus may in turn, as the image storage device BSPE, either in accordance with option "A” as a component of the image analysis device BAV with the image recording apparatus BAZG and the calculation / evaluation BAWE connected accordingly or in accordance with option " B "outside the image analysis device BAV in the railcar or in a data cloud the image recording device BAZG and the calculation / evaluation device BAWE assigned to or be connected to this.
  • option "A" a component of the image analysis device BAV with the image recording apparatus BAZG and the calculation / evaluation BAWE connected accordingly
  • option " B outside the image analysis device BAV in the railcar or in a data cloud the image recording device BAZG and the calculation / evaluation device BAWE assigned to or be connected to this.
  • image meta information BMI which in the literal sense includes feature and property data of the traffic lane area FSB, GLB detected in the images BI FSB , BI GLB , is stored.
  • the Informationsda ⁇ tenbank IDB of the image analysis apparatus BAV is assigned in such a way and with this connected, as the calculation / evaluation BAWE ausensegeSysteme for the calculation / and lane-based image analysis for Streckenstrom- / Streckenverlauf- / Obj ect recognition accesses the image meta information BMI stored in the information database IDB.
  • the information database IDB is preferably outside the Marsh analysesvorrich ⁇ tion BAV, eg as a database, arranged in the railcar or is designed as a data cloud.
  • the calculation / evaluation device BAWE preferably has a non-volatile, readable memory SP in which processor-readable control program instructions of a picture analysis for route / route / Obj ect recognition-controlling program module PGM are stored, and a processor PZ, which executes the control program commands of the program module PGM for the calculation / evaluation-based and lane-based image analysis for track / route / Obj ekt recognition performs.
  • the processor accesses in addition - in addition to the accesses to the image-BMI meta information in the information database IDB - for control purposes and for reading out data to the image recording device and the image BAZG spoke pure Rich ⁇ tung BSPE to.
  • the lane-based image analysis in the calculation / evaluation BAWE advantageously such that in the image BI FSB , BI GLB is recognized where the Signaling system SI, AL or the track system SAL can be found by
  • BI FSB BI GLB is identified, in which a distinctive Anlagenmerk ⁇ times the track system SAL or the signal SI of the system AL can be seen, 2) the first image section BAS1 is determined in the image subregion BTB, through which the traffic lane FS, GL used by the railway vehicle BFZ, SFZ performs,
  • Meta information BMI and a standard edge detection algorithm is attempted to detect the outer edges of the track system SAL or the signal system SI, AL in the distance 3) determined by the lane FS, GL until the known and recognized outer edge substantially überde ⁇ bridges ,
  • the calculation / evaluation device BAWE in the lane-based image analysis continues to be such in an advantageous manner designed that in the image BI FSB / BI GLB is detected, in which direction, in particular LEFT, RIGHT or STRAIGHT ⁇ OFF, the railway vehicle BFZ, SFZ drives by for the detected from the detected course lane FS, GL
  • a pseudo-GERADEAUS lane in particular a pseudo-GERADEAUS track, is artificially generated by linear updating of the lane FS, GL used by the railway vehicle BFZ, SFZ in accordance with the image area BIB,
  • a LEFT direction eg a LEFT curve, is recognized when the used lane FS, GL is to the left of the pseudo-GERADEAUS lane,
  • a RIGHT direction e.g. a right-hand turn, is recognized when the used lane FS, GL is to the right of the pseudo-straight lane.
  • calculation / evaluation device BAWE in the case of lane-based image analysis is furthermore advantageously designed in such a way that in the image
  • BI FSB BI GLB is detected, whether at least one object OBJ, which may be, for example, a person, an animal, a movable or stationary object on the used lane FS, GL by
  • the calculation / evaluation device BAWE designed accordingly that in the image BI ⁇ SB ⁇ BI GLB is detected, how far the railway vehicle BFZ, SFZ is spaced from the object OBJ on the used lane FS, GL has been recognized by the one of a pixel width of the lane FS, G) in the image area BIB and a pixel width of the lane FS, GL in the third
  • Image section BAS3, in which the object OBJ is located are set in relation to each other, from this ratio and the obtained from the known third metadata width of the lane FS, GL of said distance is calculated.
  • image analyzing device BAV an automated (autonomous) or assisted driving of the railway vehicle or the railway vehicle BFZ SFZ without additional infrastructure along a route as may ⁇ be suspended or even realized. This is especially true if the image analysis device BAV is realized as a virtual machine which is designed and functions in the sense of a " software- defined signal recognition of rail traffic system".

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

Um das automatisierte (autonome) oder unterstützte Fahren von Bahnfahrzeugen (BFZ) bzw. Schienenfahrzeuge (SFZ) ohne zusätzliche Infrastruktur entlang einer Fahrstrecke zu verbessern, wird es vorgeschlagen auf Basis mehrerer einen Fahrspur-/Gleisbereich (FSB, GLB) repräsentierenden Bilder (BIFSB, BIGLB) in einem in den Bildern jeweils ausgemachten Bildbereich (BIB), in dem in Bezug auf den bildlich dargestellten Fahrspur-/Gleisbereich (FSB, GLB) erfasste Fahrspuren/Gleise (FS, GL) im Wesentlichen an einer gleichen Stelle liegen, ausgehend von den Anteilen der erfassten Fahrspuren/Gleise in dem Bildbereich (BIB) mit Hilfe von Kantenerkennungsalgorithmen den Verlauf einer Fahrspur/ eines Gleises (FS, GL), welches von dem Bahnfahrzeug genutzt wird, durch einen sich im erfassten Bild ändernden Bildanteils der Fahrspur/des Gleises zum erfassten Gesamtbild zu erkennen und mit gespeicherten bekannten Metainformationen (MI) abzugleichen, wobei diese sowohl fahrspurbezogene respektive gleisbezogene Primär-Metadaten als auch bahnstreckenbezogene respektive schienenstreckenbezogene Sekundär-Metadaten enthalten.

Description

Beschreibung
Verfahren, Vorrichtung und Bahnfahrzeug, insbesondere Schie¬ nenfahrzeug, zur fahrspurbasierten Bildanalyse im Bahnver- kehr, insbesondere zur gleisbasierten Bildanalyse im Schie¬ nenverkehr
Die Erfindung bezieht sich auf ein Verfahren zur fahrspurbasierten Bildanalyse im Bahnverkehr, insbesondere zur gleisba- sierten Bildanalyse im Schienenverkehr gemäß dem Oberbegriff des Patentanspruches 1, eine Vorrichtung zur fahrspurbasierten Bildanalyse im Bahnverkehr, insbesondere zur gleisbasierten Bildanalyse im Schienenverkehr gemäß dem Oberbegriff des Patentanspruches 11 und ein Bahnfahrzeug zur fahrspurbasier- ten Bildanalyse im Bahnverkehr, insbesondere Schienenfahrzeug zur gleisbasierten Bildanalyse im Schienenverkehr, gemäß dem Oberbegriff des Patentanspruches 26.
Bahnfahrzeuge sind als Bestandteil einer modernen Verkehrs- infrastruktur spurgebundene Verkehrs- und Transportmittel, die sich beispielsweise rollend auf oder unter von einer oder zwei Leitschienen (Gleisen) , schwebend über oder unter einem Magnetfeld oder hängend an Stahlseilen fortbewegen. Von den genannten spurgebundenen Verkehrs- und Transportmit- tel sind Schienenfahrzeuge, die auf einem Rad-Schiene-System basieren, die entweder einen eigenen Fahrantrieb (Triebwagen) oder von eine Lokomotive gezogen oder geschoben werden und bei denen überwiegend Stahlräder mit einem Spurkranz auf zwei Stahlschienen bzw. Gleisen geführt werden, am weitesten verbreitet.
Die der Erfindung zugrundeliegende Aufgabe besteht darin, ein Verfahren, eine Vorrichtung und ein Bahnfahrzeug, insbesonde¬ re Schienenfahrzeug, zur fahrspurbasierten Bildanalyse im Bahnverkehr, insbesondere zur gleisbasierten Bildanalyse im Schienenverkehr, anzugeben, mit dem bzw. der das automatisierte (autonome) oder unterstützte Fahren der Bahnfahrzeuge bzw. Schienenfahrzeuge ohne zusätzliche Infrastruktur entlang einer Fahrstrecke verbessert wird.
Das Durchführen einer fahrspurbasierten Bildanalyse im Bahn- verkehr, insbesondere einer gleisbasierten Bildanalyse im
Schienenverkehr, was Gegenstand der vorliegenden Internationalen Patentanmeldung (Anmeldung-Nr. PCT/...; Veröffentli- chungs-Nr. WO ...) und der dazu prioritätsbegründenden DE- Patentanmeldung (Anmeldung-Nr. 102016224331.4) ist, ist im Hinblick auf ein zukünftiges automatisiertes (autonomes) oder unterstütztes Fahren von Bahnfahrzeugen im Bahnverkehr respektive Schienenfahrzeugen im Schienenverkehr eine für den besagten angestrebten Zweck sinnvolle Verbesserung. So ist es für das automatisierte oder unterstützte Fahren von Bahn-/Schienenfahrzeugen ohne zusätzliche Infrastruktur entlang der Strecke notwendig, Bilder vom Fahrzeug aus, insbe¬ sondere aus der Perspektive des Triebwagenführers, automati¬ siert auszuwerten. Diese Bilder können von mindestens einem Bildaufzeichnungsgerät, vorzugsweise aber mehreren Geräte, z.B. Videokameras, Lasersensoren, Radar-Einrichtungen Wärmebildkameras oder anderen Bildakquisitionsgeräten, stammen.
Das Problem des automatisierten Fahrens wurde bisher durch aufwändige Zusatzinvestitionen in die Streckeninfrastruktur wie Induktionsschleifen, Rechner entlang der Strecke und Kommunikationsanlagen zwischen Zug und Streckenkomponenten realisiert . Es ist aber nicht nur der Aspekt der fahrspur-/gleisbasierten Bildanalyse, der für das zukünftige automatisierte (autonome) oder unterstützte Fahren von Bedeutung ist, sondern auch die nachfolgenden technischen Aspekte, die allesamt mehr oder weniger in einem technischen Kontext mit der vorliegenden Pa- tentanmeldung stehen und deshalb aufgeführt und deren Inhalte vor diesem Hintergrund zu berücksichtigen und ggf. sogar zu inkludieren sind. Es handelt sich um die Aspekte:
1) Das automatische Erkennen von Signalen im Bahn- /Schienenverkehr gemäß der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/EP2016/057804 ; Veröffentlichungs-Nr . WO 2017/174155 AI) und der darin offenbarten technischen Lehre.
2) Das automatische Erkennen von Gefahrensituationen im Bahn- /Schienenverkehr gemäß der DE-Patentanmeldung (Anmeldung-Nr. 102016224358.6) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/...; Veröffentlichungs-Nr . WO ...) und der darin jeweils offenbarten technischen Lehre.
3) Das automatische Erkennen von Hindernissen im Bahn- /Schienenverkehr gemäß der DE-Patentanmeldung (Anmeldung-Nr. 102016224344.6) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/...; Veröffentlichungs-Nr . WO ...) und der darin jeweils offenbarten technischen Lehre. 4) Das alternative Bestimmen von Positionen im Schienenverkehr, wenn eine herkömmliche satellitengestützte Positionsbe¬ stimmung versagt oder unzureichend ist, gemäß der DE- Patentanmeldung (Anmeldung-Nr. 102016224355.1) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/...; Veröffentli- chungs-Nr. WO ...) und der darin jeweils offenbarten technischen Lehre.
5) Das automatische Erkennen von Fahrspuren/Gleisen im Bahn- /Schienenverkehr gemäß der DE-Patentanmeldung (Anmeldung-Nr. 102016224335.7) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/...; Veröffentlichungs-Nr . WO ...) und der darin jeweils offenbarten technischen Lehre.
Die vorstehend genannte kontextbezogene Aufgabe wird ausge- hend von dem im Oberbegriff des Patentanspruchs 1 definierten Bildanalyseverfahren durch die im Kennzeichen des Patentanspruches 1 angegebenen Merkmale gelöst. Darüber hinaus wird die vorstehend genannte kontextbezogene Aufgabe ausgehend von der im Oberbegriff des Patentanspruchs 11 definierten Bildanalysevorrichtung durch die im Kennzei- chen des Patentanspruches 11 angegebenen Merkmale gelöst.
Weiterhin wird die vorstehend genannte kontextbezogene Aufga¬ be ausgehend von dem im Oberbegriff des Patentanspruchs 26 definierten Bahnfahrzeug, insbesondere Schienenfahrzeug, durch die im Kennzeichen des Patentanspruches 26 angegebenen Merkmale gelöst.
Die der Erfindung gemäß den unabhängigen Ansprüchen 1, 11 und 26 zugrundeliegenden Idee besteht darin, auf Basis meh- rerer einen Fahrspur-/Gleisbereich repräsentierenden Bilder in einem in den Bildern jeweils ausgemachten Bildbereich, in dem in Bezug auf den bildlich dargestellten Fahrspur-/Gleis- bereich erfasste Fahrspuren/Gleise im Wesentlichen an einer gleichen Stelle liegen, ausgehend von den Anteilen der er- fassten Fahrspuren/Gleise in dem Bildbereich mit Hilfe von
Kantenerkennungsalgorithmen den Verlauf einer Fahrspur/eines Gleises, welches von dem Bahnfahrzeug genutzt wird, durch einen sich im erfassten Bild ändernden Bildanteils der Fahrspur/des Gleises zum erfassten Gesamtbild zu erkennen und mit gespeicherten bekannten Bild-Metainformationen abzugleichen, wobei diese sowohl fahrspurbezogene respektive gleis¬ bezogene Primär-Metadaten als auch bahnstreckenbezogene res¬ pektive schienenstreckenbezogene Sekundär-Metadaten enthal¬ ten .
Die Bild-Metainformationen beinhalten dabei dem Wortsinn nach Merkmals- und Eigenschaftsdaten des in den Bildern erfassten Fahrspur-/Gleisbereiches . Das Grundprinzip der Erfindung ist es dabei, durch eine automatisierte Auswertung der Bilder einen in dem jeweiligen Bild sichtbaren Teil der befahrenen Fahrspur/des befahrenen Gleises zu erkennen, damit vorzugsweise (in vorteilhaften Weiterbildungen) die nachfolgenden Ziele erreicht werden:
I. Erkennung, wo im Bild Vor- und Hauptsignale für einen Fahrbetrieb zu finden sind.
II. Erkennung, ob ein Fahrweg nach LINKS, GERADEAUS, RECHTS weiterführt .
III. Erkennung, ob sich Personen auf einer Fahrspur/einem Gleis befinden.
IV. Erkennung, wie weit ein Bahnfahrzeug von einem Objekt entfernt ist.
V. Erkennung, ob unzulässige Objekte auf einer Fahrspur/einem Gleis liegen. Ziel dabei ist es jeweils, einen Beitrag zum vollautomati¬ sierten Fahren ohne zusätzliche Investitionen in die Streckeninfrastruktur zu ermöglichen.
Die automatisierte Auswertung von Bildern, die vom Fahrzeug aus, insbesondere aus der Perspektive des Triebwagenführers und/oder aus einer ortsfesten, fahrspurobservierenden Position im oder am Fahrzeug, erfasst werden, erfolgte bisher nur pauschal durch Analyse des "vor dem Fahrzeug liegenden Berei¬ ches" ohne detaillierten Bezug auf die Fahrspur/das Gleis im Bild. Sie lässt sich aber in vorteilhafter Weise zumindest teilweise durch folgende Schritten erreichen:
1. In einem ersten Schritt werden mit Hilfe von mindestens einem Bildaufzeichnungsgerät (z.B. ein oder mehrere Bildak- quisitionsgeräte wie Videokameras, Lasersensoren, Infrarotka¬ mera, Wärmebildkameras, Radar-Einrichtungen, andere Bildak- quisitionsgeräte, etc.) eine Vielzahl von Bildern vom Bahn¬ fahrzeug aus, z.B. aus Perspektive des Triebwagenführers, er¬ fasst bzw. aufgenommen.
Die mehrfache Ausführung ist vor allem für Redundanzzwecke relevant . a. In einer Abwandlung oder Weiterbildung, Erweiterung der Erfindung können aber auch Bilder von mehreren Bildaufzeichnungsgeräten bzw. Bildakquisitionsgeräten der gleichen Art (z.B. zwei Videokameras) zur wechselseitigen Validierung und Synthese der Ergebnisse verwendet werden. b. In einer weiteren Abwandlung oder Weiterbildung, Erweiterung der Erfindung können aber auch Bilder von mehreren Bildaufzeichnungsgeräten bzw. Bildakquisitionsgeräten unter- schiedlicher Art (z.B. eine Videokamera und eine Wärmebildka¬ mera) zur wechselseitigen Validierung und Synthese der Ergebnisse verwendet werden. c. In einer weiteren Abwandlung oder Weiterbildung, Erweite- rung der Erfindung können nicht bildgebende Sensoren wie beispielsweise Radar, Ultraschall oder Laser zu Validierung der Bildinformation genutzt werden.
2. In einem zweiten Schritt wird der Bereich am nahen unteren Bildrand betrachtet, weil dort die Fahrspuren/Gleise im We¬ sentlichen an der gleichen Stelle liegen, Dabei ist es vorzugsweise der Fall, dass das Bildaufzeichnungsgerät fest in dem Bahnfahrzeug/Schienenfahrzeug montiert ist. Durch Kanten¬ erkennungsalgorithmen, die bei einer Standardbildverarbeitung verwendet werden, kann der Verlauf der befahren Fahrspur/des befahrenen Gleises ausgehend von den Anteilen Fahrspur/des Gleises am unteren Bildrand erkannt werden. a. In einer Optimierung kann der maximale Biegegrad von Fahr- spuren/Gleisen berücksichtigt werden, um Falscherkennungen von Gleisen zu vermeiden) .
b. In einer weiteren Optimierung kann die befahrene Fahrspur/das befahrene Gleis auch über Weichen hinweg erkannt werden, in dem die durchgehende Führungsschiene des Gleises erkannt wird.
3. In einem dritten Schritt werden Metadaten über die Fahrspur/das Gleis, die bekannt sind, herangezogen, insbesondere der Abstand der parallel verlegten Schienen sowie die Breite des Schienenkopfes.
4. In einem dritten Schritt werden Metadaten über die Fahr- strecke, die bekannt sind, herangezogen, z.B. an welchen geo¬ graphischen Positionen sich Bahnübergänge, Weichen oder Signalanlagen befinden.
5. Auf Basis der vorgenannten Daten und Schritte lassen sich die vorstehend genannten fünf Ziele I...V.
I. Erkennung, wo im Bild Vor- und Hauptsignale für einen Fahrbetrieb zu finden sind
i. Aufgrund der aktuellen geographischen Position [dem Bahn- fahrzeug/Schienenfahrzeug sind die diesbezüglichen Ortskoor¬ dinaten auf Basis von GPS-Daten oder Positionsbestimmungsda¬ ten gemäß der DE-Patentanmeldung (Anmeldung-Nr. ...) bekannt] lässt sich zunächst der Bereich im Bild erkennen, in dem ein Signal zu erkennen ist.
ii . Dann wird bestimmt, wo in diesem Bereich das befahrene Gleis durchführt (Ergebnis der Daten aus Schritt 2)
iii . Metadaten über den Abstand der Signalanlage können dann wie folgt verwendet werden.
1. Im relevanten Bildabschnitt weiß man auf Basis der Fahr- spur-/Gleisbreite wie weit die Signalanlage horizontal und vertikal vom Gleis entfernt ist.
2. Weiterhin sind die Außenkanten der Signalanlage bekannt.
3. Nun wird in kurzen Entfernungsabständen vom Fahrzeug mit Hilfe eines Standardkantenerkennungsalgorithmus versucht, die Außenkanten der Signalanlage im bekannten Abstand von der Fahrspur/vom Gleis zu erkennen und zwar so lange, bis eine gute Überdeckung gefunden wurde. Dort befindet sich dann die gesuchte Signalanlage. II. Erkennung, ob ein Fahrweg nach LINKS oder GERADEAUS oder RECHTS weiterführt
i. Die befahrene Fahrspur/das befahrene Gleis ist aus Schritt 2) erkannt. ii . Eine gedachte Fahrspur/ein gedachtes Gleis GERADEAUS kann leicht künstlich erzeugt werden, da die bekannte befahrene Fahrspur/das bekannte befahrene Gleis am unteren Bildrand nur linear fortgeschrieben werden muss.
iii. Dann kann die befahrene Fahrspur/das befahrene Gleis mit der gedachten "GERADEAUS-Fahrspur" /mit dem gedachten "GERADE- AUS-Gleis" verglichen werden.
1. Sind die befahrene Fahrspur/das befahrene Gleis und die gedachten "GERADEAUS-Fahrspur" /das gedachten "GERADEAUS-
Gleis" identisch, so führt die befahrene Fahrspur/das befah¬ rene Gleis GERADEAUS.
2. Liegt die befahrene Fahrspur/das befahrene Gleis LINKS von der gedachten "GERADEAUS-Fahrspur" /dem gedachten "GERADEAUS- Gleis", so handelt es sich um eine Linkskurve. Aus dem Ab¬ stand des befahrenen Gleises von der gedachten "GERADEAUS- Fahrspur" /dem gedachten "GERADEAUS-Gleis " sowie dem Abstand vom Fahrzeug (errechenbar aus der Breite der Fahrspur/des Gleises am unteren Bildrand und der Breite der Fahrspur/des Gleises im jeweils relevanten Bildabschnitt) kann der Grad der Linkskrümmung berechnet werden.
3. Für den Fall, dass die befahrene Fahrspur/das befahrene Gleis RECHTS von der gedachten "GERADEAUS-Fahrspur" /dem gedachten "GERADEAUS-Gleis" liegt, siehe vorhergehenden Punkt.
Neben der Erkennung, ob ein Fahrweg nach LINKS oder GERADEAUS oder RECHTS weiterführt, gibt es auch noch den Fall, dass Weichen im Bild sind und diese natürlich den weiteren Fahrweg beeinflussen. In diesem Zusammenhang wird auf das Durchführen einer automatische Erkennung von Fahrspuren/Gleisen im Bahn- /Schienenverkehr gemäß der DE-Patentanmeldung (Anmeldung-Nr. 102016224335.7) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/...; Veröffentlichungs-Nr . WO ...) und der darin jeweils offenbarten technischen Lehre verwiesen.
III. Erkennung, ob sich Personen auf einer Fahrspur/einem Gleis befinden i . Die übliche Größe eines Menschen (von Kleinkind (70 cm) bis großer Mann (220 cm)) kann ins Verhältnis zur Fahrspur- /Gleisbreite gesetzt werden.
ii . Dann kann die befahrene Fahrspur/das befahrene Gleis im Bild sowie ein kritischer Bereich links und rechts der Fahrspur/des Gleises in mehrere Analyseabschnitte mit steigendem Abstand vom Fahrzeug eingeteilt werden. (Der kritische Be¬ reich kann je nach Umgebung der Fahrspur/des Gleises (Stadt¬ gebiet vs . Land) unterschiedliche breit definiert werden). Dann kann im jeweiligen Analyseabschnitt ein Standard-
Pattern-Algorithmus zur Erkennung von Personen verwendet wer¬ den .
1. In einer weiteren Optimierung können die Analyseabschnitte von mehreren aufeinanderfolgenden Bildern in Beziehung gesetzt werden, um Bewegung von Personen zu erkennen und deren Bewegung zu verfolgen um potentielle Kollisionen voraus zu berechnen . IV. Erkennung, wie weit ein Bahnfahrzeug von einem Objekt entfernt ist
i . Nehmen wir an, ein Objekt wird auf einer Fahrspur/einem Gleis oder im kritischen Bereich neben der Fahrspur/dem Gleis erkannt .
ii . Dann muss die Pixelbreite der Fahrspur/des Gleises auf
Höhe des Objekts zur Pixelbreite der Fahrspur/des Gleises am unteren Bildrand in Beziehung gesetzt werden. Aus dem Verhältnis und der bekannten Breite der Fahrspur/des Gleises lässt sich der Abstand zum Objekt berechnen.
V . Erkennung, ob unzulässige Objekte auf einer Fahrspur/einem Gleis liegen
Objekte, die auf der Fahrspur/Gleis liegen können dadurch er¬ kannt werden, dass bei Schritt 2 der Kantenerkennungsalgo- rithmus für Fahrspuren/Gleise fehlschlägt.
In einer Abwandlung oder Weiterbildung, Erweiterung kann das regelmäßige Muster der Fahrspur/zwischen den Gleisen, das durch einen Fahrspurträger/Gleisträger gebildet wird, als Grundlage für die Erkennung von Unregelmäßigkeiten verwendet werden . Wird eine Unregelmäßigkeit erkannt (z.B. Balise oder
spielendes Kind) , so kann in einem zweiten Schritt die Zuläs- sigkeit der Unregelmäßigkeit durch einen Abgleich mit einer Bilddatenbank erfolgen. Z.B. können in einem Initialisierungslauf über alle Bilder einer Strecke alle Unregelmäßig- keiten erfasst und danach zum Abgleich bereitgestellt werden.
Durch vorstehend skizzierte Erkennung der Fahrspur/des Glei¬ ses kann erreicht werden, dass:
- Vor- und Hauptsignale leichter erkannt werden.
- Die Links- oder Rechtskrümmung einer Fahrspur/eines Gleises erkannt werden kann.
- Die Erkennung von Personen auf einer Fahrspur/einem Gleis erleichtert wird.
- Der Abstand eine Bahnfahrzeugs von Objekten/Personen auf einer Fahrspur/einem Gleis oder im kritischen Bereich links oder neben der Fahrspur/dem Gleis berechnet werden kann.
- Die Verfolgung der Objekte/Personen (Tracking) im kritischen Bildbereich die Berechnung möglicher Kollisionen vereinfacht wird.
- Analysegegenstände bei ungünstigen Sichtbedingungen zuverlässiger erkannt werden können als durch Triebfahrzeugführer.
- Triebfahrzeugführer nicht mehr für das Erkennen der beschriebenen Analysegegenstände benötigt werden, so dass unab¬ hängig von deren Verfügbarkeit gefahren werden kann.
Im Zuge einer vorteilhaften Weiterbildung der Erfindung können in Bezug auf die Bildanalysevorrichtung nach Anspruch 11 noch folgende zusätzlichen Komponenten - a) bis c ) für das Bildaufzeichnungsgerät (z.B. das Bildakquisitionsgerät ) - verwendet werden: a . Eine Korrekturkomponente gemäß Anspruch 21, die Wetter¬ und Helligkeitsdaten für die Auswertung des Bildmaterials mit einbezieht. Damit kann beispielsweise bei starkem Nebel, die Auswertung von Videobildern auf die ersten 50 Meter vor dem Bahnfahrzeug bzw. Schienenfahrzeug begrenzt werden und die Geschwindigkeit des Fahrzeuges entsprechend gedrosselt wer- den . b . Eine Brennweiteveränderungskomponente gemäß Anspruch 22, die in Abhängigkeit von der Umgebung (z.B. Bahnhof, Stadtge¬ biet, Land, etc.) und der Geschwindigkeit den richtigen Auf- nahmewinkel wählt, um so die Auswertung des Bildes optimal zu unterstützen. Zum Beispiel können dann sowohl Aufnahmesitua- tionen auf freier Strecke (benötigen Bilder aus großer Entfernung, um aufgrund der Geschwindigkeit rechtzeitig reagie¬ ren zu können) als auch Aufnahmesituationen im Bahnhofsbe- reich (benötigen Bilder mit einer hohen Breite) geeignet bedient werden. c . Eine Beleuchtungskomponente gemäß Anspruch 23, beispiels¬ weise ein Scheinwerfer der inner- oder außerhalb des mensch- lieh sichtbaren Bereichs arbeitet, durch welche sich die Qua¬ lität des von dem Bildaufzeichnungsgerät bzw. Bildakquisiti- onsgerät bei Nacht oder schlechter Witterung aufgenommenen Bildmaterials verbessert. Darüber hinaus ist es möglich, dass eine Bildanalysevorrichtung als eine virtuelle Maschine im Sinne eines "Software Defined Signal Recognition of Rail Traffic Systems" ausge¬ bildet ist und funktioniert. Weitere Vorteile der Erfindung ergeben sich aus der nachfol¬ genden Beschreibung eines Ausführungsbeispieles der Erfindung anhand der FIGUREN 1 bis 3. Diese zeigen:
FIGUR 1 eine fahrspurbasierte Bildanalyse zur Erkennung von Streckenanlagen an einer Bahnstrecke und Streckenverläufen, FIGUR 2 eine fahrspurbasierte Bildanalyse zur Objekterkennung einer sich auf einer Fahrspur einer Bahnstrecke befindenden Person, FIGUR 3 einen prinzipiellen Aufbau einer Bildanalysevorrichtung für die gemäß den FIGUREN 1 und 2 fahrspurbasierte Bild¬ analyse .
FIGUR 1 zeigt eine fahrspurbasierte Bildanalyse zur Erkennung einer Streckenanlage SAL, wie z.B. einen Bahnübergang BÜG,
Weichen oder eine ein Signal SI gebende oder führende Anlage AL im Bahnverkehr BVK, wenn auf einer abschnittsweise dargestellten Bahnstrecke BST eines Bahnnetzes BNE ein Bahnfahr¬ zeug BFZ sich auf einer Fahrspur FS der Bahnstrecke BST der Signalanlage SI, AL nähert. Bei dieser fahrspurbasierte Bild¬ analyse zur Erkennung der Streckenanlage SAL bzw. der das Signal SI gebenden oder führenden Anlage AL ist es auch, wenngleich in der FIGUR 1 nicht explizit dargestellt, einen Streckenverlauf, d.h. den Verlauf der Fahrspur FS, was Rich- tungen der Fahrspur FS, wie GERADEAUS, LINKS, RECHTS, anbe¬ trifft, zu erkennen.
Gemäß dem vorliegenden Ausführungsbeispiel ist die fahrspur¬ bezogene Bahnstrecke BST des Bahnnetzes BNE eine Schienen- strecke SST eines Schienennetzes SNE, auf dem im Schienen¬ verkehr SVK für eine gleisbasierte Bildanalyse zur Erkennung der Streckenanlage SAL ein Schienenfahrzeug SFZ auf einem Gleis GL unterwegs ist und sich der Streckenanlage SAL auf dem Gleis GL nähert. An die Stelle des dargestellten Schie- nenverkehrs SVK mit dem auf der Schienenstrecke SST des
Schienennetzes SNE fahrenden Schienenfahrzeugs SFZ ist auch hier wieder aufgrund der eingangs geführten Diskussion auch jedes andere x-beliebige kurz- oder langstreckenbasierte Bahnverkehrssystem als weiteres Ausführungsbeispiel der Er- findung denk- und vorstellbar. So käme ebenso z.B. ein Magnetschwebebahn-Verkehrssystem (Stw.: Transrapid, Maglev etc.) mit einer entsprechend vergleichbaren Infrastruktur, bestehend aus Bahnnetz, Bahnstrecke und Bahnfahrzeug, in Frage .
In dem in der FIGUR 1 dargestellten Schienenverkehrssystem ist in einem Triebwagen TRW des Schienenfahrzeugs SFZ mit einem Triebführerstand TFS und einer integrierter Anzeige¬ einrichtung AZE, in dem sich der Arbeitsplatz des Fahrzeugführers FZF befindet, für die gleisbasierte Bildanalyse zur Erkennung der Streckenanlage SAL eine Bildanalysevorrichtung BAV untergebracht. Die Bildanalysevorrichtung BAV beinhaltet hierfür ein vorzugsweise als Sensor ausgebildetes Bildauf¬ zeichnungsgerät BAZG, das z.B. als gewöhnliche Videokamera, Lasersensor, Wärmebildkamera, Radar-Einrichtung, Infrarotkamera etc., ausgebildet ist und wegen Akquirierung von Bil- dern auch als Bildakquisitionsgerät bezeichnet wird.
Mit dem Bildaufzeichnungsgerät BAZG sind, wenn sich das auf dem Gleis GL fahrende Schienenfahrzeug SFZ der Signalanlage SI, AL nähert, von dem Schienenfahrzeug SFZ aus, z.B. aus der Perspektive des Triebwagenführers FZF in dem Triebführerstand TFS des Triebwagens TRW und/oder aus einer ortsfesten, fahrspurobservierenden Position im oder am Fahrzeug SFZ, von einem dem Schienenfahrzeug SFZ vorgelagerten, sich dabei vorzugsweise an die Geschwindigkeit des Schienenfahrzeugs SFZ orientierenden, Gleisbereich GLB eine Vielzahl von den Gleisbereich GLB repräsentierenden Bildern B I GLB erfassbar.
Allgemeiner formuliert: In Bezug auf das auf der Fahrspur FS fahrende Bahnfahrzeug BFZ sind von einem dem Bahnfahrzeug BFZ vorgelagerten, sich dabei vorzugsweise an die Geschwindigkeit des Bahnfahrzeugs BFZ orientierenden, Fahrspurbereich FSB eine Vielzahl von den Fahrspurbereich FSB repräsentierenden Bildern B I FSB erfassbar. In den Bildern B I FSB , B I GLB des Fahrspurbereichs FSB, GLB ist jeweils ein Bildbereich B I B enthalten, in dem in Bezug auf den bildlich dargestellten Fahrspurbereich FSB, GLB erfasste Fahrspuren FS, GL im Wesentlichen an einer gleichen Stelle liegen und ausgehend von diesen Anteilen der erfassten Fahrspuren FS, GL mit Hilfe von Kantenerkennungsalgorithmen der Verlauf einer von dem Bahnfahrzeug BFZ, SFZ benutzten Fahrspur FS, GL durch einen sich im erfassten Bild ändernden Bildanteils der Fahrspur FS, GL zum erfassten Gesamtbild erkannt wird.
Darüber hinaus ist für eine aktuell ermittelte geografische Position des Bahnfahrzeugs BFZ, SFZ ein Bildteilbereich BTB in den Bildern BIFSB, B I GLB enthalten, in dem das Signal SI der Anlage AL als ein markantes Anlagenmerkmal der Strecken¬ anlage SAL zu erkennen ist. Dieser Bildteilbereich BTB weist wiederum einen ersten Bildabschnitt BAS1, durch den die von dem Bahnfahrzeug BFZ, SFZ genutzte Fahrspur FS, GL durch- führt, und einen zweiten Bildabschnitt BAS2 auf, wobei letz¬ terer für die Streckenverlauf-Erkennung, d.h. das jeweilige Erkennen einer GERADEAUS-Richtung, LINKS-Richtung oder
RECHTS-Richtung der Fahrspur FS, GL relevant ist. Wie jetzt aufgrund der Bilder B I FSB , B Iglb des Fahrspurbe¬ reichs FSB, GLB mit dem darin enthaltenen Bildbereich BIB und dem Bildteilbereich BTB mit den beiden Bildabschnitten BAS 1, BAS 2 die Bildanalyse zur Streckenanlage-Erkennung bzw. der Erkennung der Signalanlage SI, AL und zur Strecken- verlauf-Erkennung durchgeführt wird, wird nachfolgend mit der Beschreibung von FIGUR 3 erläutert.
FIGUR 2 zeigt eine fahrspurbasierte Bildanalyse zur Objekter¬ kennung in dem Bahnverkehr BVK, wenn auf der wieder ab- schnittsweise dargestellten Bahnstrecke BST des Bahnnetzes BNE das Bahnfahrzeug BFZ sich auf der Fahrspur FS der Bahnstrecke BST mindestens ein Objekt OBJ, vorzugsweise eine Per¬ son, ein Tier, ein bewegbarer oder ortsfester Gegenstand, befindet, die im Bereich der Fahrspur fremd und eigentlich nichts zu suchen haben, sich also unzulässiger dort befinden.
Die fahrspurbezogene Bahnstrecke BST des Bahnnetzes BNE ist auch hier wieder die Schienenstrecke SST des Schienennetzes SNE, auf dem im Schienenverkehr SVK für eine gleisbasierte Bildanalyse zur Objekterkennung das Schienenfahrzeug SFZ auf dem Gleis GL unterwegs ist und sich dem Objekt OGJ nähert. An die Stelle des dargestellten Schienenverkehrs SVK mit dem auf der Schienenstrecke SST des Schienennetzes SNE fahrenden Schienenfahrzeugs SFZ ist auch hier wieder aufgrund der ein¬ gangs geführten Diskussion auch jedes andere x-beliebige kurz- oder langstreckenbasierte Bahnverkehrssystem als wei¬ teres Ausführungsbeispiel der Erfindung denk- und vorstell- bar. So käme ebenso z.B. ein Magnetschwebebahn- Verkehrssystem (Stw.: Transrapid, Maglev etc.) mit einer entsprechend vergleichbaren Infrastruktur, bestehend aus Bahnnetz, Bahnstrecke und Bahnfahrzeug, in Frage. In dem in der FIGUR 2 dargestellten Schienenverkehrssystem ist auch hier wieder in dem Triebwagen TRW des Schienenfahrzeugs SFZ mit dem Triebführerstand TFS und der integrierten Anzeigeeinrichtung AZE, in dem sich der Arbeitsplatz des Fahrzeugführers FZF befindet, für die gleisbasierte Bildana- lyse zur Objekterkennung die Bildanalysevorrichtung BAV untergebracht. Die Bildanalysevorrichtung BAV beinhaltet hierfür wieder das vorzugsweise als Sensor ausgebildetes Bil¬ daufzeichnungsgerät BAZG, das z.B. als gewöhnliche Videoka¬ mera, Lasersensor, Wärmebildkamera, Radar-Einrichtung, Inf- rarotkamera etc., ausgebildet ist.
Mit dem Bildaufzeichnungsgerät BAZG sind, wenn sich das auf dem Gleis GL fahrende Schienenfahrzeug SFZ dem Objekt OBJ nä¬ hert, von dem Schienenfahrzeug SFZ aus, z.B. aus der Perspek- tive des Triebwagenführers FZF in dem Triebführerstand TFS des Triebwagens TRW und/oder aus der ortsfesten, fahrspurob¬ servierenden Position im oder am Fahrzeug SFZ, von einem dem Schienenfahrzeug SFZ vorgelagerten, sich dabei vorzugsweise an die Geschwindigkeit des Schienenfahrzeugs SFZ orientieren- den, Gleisbereich GLB eine Vielzahl von den Gleisbereich GLB repräsentierenden Bildern B I GLB erfassbar. Allgemeiner formuliert: In Bezug auf das auf der Fahrspur FS fahrende Bahnfahrzeug BFZ sind wieder von einem dem Bahnfahrzeug BFZ vorgelagerten, sich dabei vorzugsweise an die Ge¬ schwindigkeit des Bahnfahrzeugs BFZ orientierenden, Fahrspur- bereich FSB eine Vielzahl von den Fahrspurbereich FSB repräsentierenden Bilder BIFSB erfassbar.
In den Bildern B I FSB , B I GLB des Fahrspurbereichs FSB, GLB ist jeweils wieder der Bildbereich B I B enthalten, in dem in Be- zug auf den bildlich dargestellten Fahrspurbereich FSB, GLB erfasste Fahrspuren FS, GL im Wesentlichen an einer gleichen Stelle liegen und ausgehend von diesen Anteilen der erfass- ten Fahrspuren FS, GL mit Hilfe der Kantenerkennungsalgo¬ rithmen der Verlauf der von dem Bahnfahrzeug BFZ, SFZ be- nutzten Fahrspur FS, GL durch einen sich im erfassten Bild ändernden Bildanteils der Fahrspur FS, GL zum erfassten Gesamtbild erkannt wird.
Darüber hinaus ist ein dritter Bildabschnitt BAS3 in den Bildern B I FSB , B I GLB enthalten, in dem sich das Objekt OBJ be¬ findet .
Wie jetzt aufgrund der Bilder B I FSB , B Iglb des Fahrspurbe¬ reichs FSB, GLB mit dem darin enthaltenen Bildbereich B I B und des Bildabschnittes BAS 3 die Bildanalyse zur Objekter¬ kennung durchgeführt wird, wird nachfolgend mit der Be¬ schreibung von FIGUR 3 erläutert.
FIGUR 3 zeigt den prinzipiellen Aufbau der Bildanalysevor- richtung BAV für die fahrspurbasierte Bildanalyse zur Stre¬ ckenanlage- und Streckenverlauf-Erkennung gemäß der FIGUR 1 und zur Objekt-Erkennung gemäß der FIGUR 2, wenn das Bahnfahrzeug BFZ, SFZ, das auf der Fahrspur FS, GL unterwegs ist, sich gemäß der FIGUR 1 der Streckenanlage SAL bzw. der das Signal gebenden oder führenden Anlage AL an der Bahnstrecke
BST, SST bzw. sich gemäß der FIGUR 2 dem auf der Fahrspur FS, GL befindlichen Objekt OBJ nähert. Ausgangspunkt für die jeweilige Erkennung bildet dabei gemäß den Ausführungen zu den FIGUREN 1 und 2 das Bildaufzeichnungsgerät BAZG, das die Bilder B I FSB , B Iglb des Fahrspurbe¬ reichs FSB, GLB für diese jeweilige Erkennung erfasst.
Das Bildaufzeichnungsgerät BAZG ist dazu vorzugsweise für die Ausrichtung auf das Bildobjekt schwenkbar ausgebildet.
Ferner ist es möglich und u.U. auch aus erfassungstechnischen Gründen sinnvoll, dass mehrere Bildaufzeichnungsgeräte BAZG gleicher Bauart, z.B. mehrere Videokameras, oder Geräte un¬ terschiedlicher Bauart, z.B. mehrere Videokameras, Lasersensoren, RADAR-basierte, auf funkbasierte Ortung und Abstands¬ messung beruhende Sensoren, Infrarotkameras und/oder Wärme- bildkameras, in der Bildanalysevorrichtung BAV enthalten sind, die die Bilder B I FSB , B I GLB aufnehmen. Eine derartige mehrfache Ausführung der Bildaufzeichnung bzw. Bildakquirie- rung ist kann u.a. für Redundanzzwecke relevant sein. Um die Qualität der mit dem Bildaufzeichnungsgerät BAZG auf¬ gezeichneten oder akquirierten Bilder weiterhin zu verbessern, sind in dem Bildaufzeichnungsgerät BAZG vorzugsweise folgende Komponenten enthalten: 1. Eine Korrekturkomponente KOK, mit der Wetter- und Hellig¬ keitsdaten für die Auswertung des Bildmaterials einbezogen werden. Mit dieser Komponente ist es z.B. möglich, bei starkem Nebel die Auswertung von Videobildern auf die ersten 50 Meter vor dem Schienenfahrzeug zu begrenzen und die Geschwin- digkeit des Schienenfahrzeuges entsprechend zu drosseln.
2. Eine Brennweiteveränderungskomponente BVK, die in Abhän¬ gigkeit von der Umgebung (z.B. Bahnhof, Stadtgebiet, Land, etc.) und der Geschwindigkeit den richtigen Aufnahmewinkel wählt, um so die Auswertung des Bildes optimal zu unterstüt¬ zen. Dadurch können dann sowohl Aufnahmesituationen auf freier Strecke (benötigen Bilder aus großer Entfernung, um aufgrund der Geschwindigkeit rechtzeitig reagieren zu können) als auch Aufnahmesituationen im Bahnhofsbereich (benötigen Bilder mit einer hohen Breite) geeignet bedient werden. Zu¬ sätzlich können durch Fusion von Bilddaten und Streckendaten besonders interessante Bereiche entlang der Schienenstrecke SST im Schienennetz SNE fokussiert werden, wie z.B. ein Bahnübergang .
3. Eine Beleuchtungskomponente BLK, die beispielsweise als ein Scheinwerfer ausgebildet ist, der inner- oder außerhalb des menschlich sichtbaren Bereichs arbeitet, und durch die sich die Qualität des von dem Bildaufzeichnungsgerät bzw. dem Bildakquisitionsgerät BAZG bei Nacht oder schlechter Witte¬ rung aufgenommenen Bildmaterials verbessert. Die so aufgenommenen Bilder werden von dem Bildaufzeichnungsgerät BAZG in eine Bildspeichereinrichtung BSPE gespeichert. Diese Bildspeichereinrichtung BSPE ist entweder gemäß Option "A" als Komponente der Bildanalysevorrichtung BAV mit dem Bildaufzeichnungsgerät BAZG entsprechend verbunden oder gemäß Option "B" außerhalb der Bildanalysevorrichtung BAV, z.B. als Speicherdatenbank, in dem Triebwagen oder in einer Daten-Cloud dem Bildaufzeichnungsgerät BAZG zugeordnet bzw. mit diesem verbindbar. Für die fahrspurbasierte Bildanalyse der aufgezeichneten bzw. akquirierten Bilder zur Streckenanlage- und Streckenverlauf-Erkennung gemäß der FIGUR 1 und zur Objekt-Erkennung gemäß der FIGUR 2 ist das Bildaufzeichnungsgerät BAZG mit einer Berechnungs-/Auswerteeinrichtung BAWE verbunden, die ebenfalls eine Komponente der Bildanalysevorrichtung BAV ist. Zu diesem Zweck ist die Berechnungs-/Auswerteeinrich- tung BAWE, wie das Bildaufzeichnungsgerät BAZG, entweder ge¬ mäß der Option "A" mit der Bildspeichereinrichtung BSPE verbunden oder gemäß Option "B" der Bildspeichereinrichtung BSPE zugeordnet bzw. mit dieser verbindbar. Auf diese Weise entsteht eine Funktionsteileinheit aus der Berechnungs- /Auswerteeinrichtung BAWE, dem Bildaufzeichnungsgerät BAZG und der Bildspeichereinrichtung BSPE, bei der die genannten Komponenten der Bildanalysevorrichtung BAV für die berech- nungs-/auswertegestützte und fahrspurbasierte Bildanalyse zur Streckenanlage-/Streckenverlauf-/Obj ekt-Erkennung teilfunktional zusammenwirken.
Für die Bildung einer vollständigen Funktionseinheit, bei der die daran beteiligten Teileinheiten funktional zusammenwirken, wird die genannte Funktionsteileinheit durch eine weitere Teileinheit, eine Informationsdatenbank IDB, erwei- tert. Die Informationsdatenbank IDB kann dabei beispielswei¬ se mit der Bildspeichereinrichtung BSPE als bauliche Einheit in einer gemeinsamen Speichervorrichtung integriert sein. Diese in der FIGUR 3 nicht explizit dargestellte Speicher¬ vorrichtung kann ihrerseits wiederum, wie die Bildspeicher- einrichtung BSPE, entweder gemäß Option "A" als Komponente der Bildanalysevorrichtung BAV mit dem Bildaufzeichnungsgerät BAZG und der Berechnungs-/Auswerteeinrichtung BAWE entsprechend verbunden oder gemäß Option "B" außerhalb der Bildanalysevorrichtung BAV in dem Triebwagen oder in einer Daten-Cloud dem Bildaufzeichnungsgerät BAZG und der Berech- nungs-/Auswerteeinrichtung BAWE zugeordnet bzw. mit diesem verbindbar sein. In diesem Zusammenhang wird auf die Informationsspeichereinrichtung in der DE-Patentanmeldung (Anmeldung-Nr. 102016224355.1) und der dazu korrespondierenden In- ternationalen Patentanmeldung (Anmeldung-Nr. PCT/...; Veröf- fentlichungs-Nr . WO ...) zum alternative Bestimmen von Positionen im Schienenverkehr, wenn eine herkömmliche satellitengestützte Positionsbestimmung versagt oder unzureichend ist, verwiesen .
In der Informationsdatenbank IDB sind Bild-Metainformationen BMI, die dem Wortsinn nach Merkmals- und Eigenschaftsdaten des in den Bilder B I FSB , B I GLB erfassten Fahrspurbereichs FSB, GLB beinhalten, gespeichert.
In diesen Bild-Metainformationen BMI sind sowohl zur Fahrspur FS, GL bezogene Primär-Metadaten, die vorzugsweise den Abstand von parallel verlaufenden Fahrspuren FS, GL sowie die Breite eines Fahrspurkopfes, insbesondere eines Schie¬ nenkopfes angeben, als auch zu der Bahnstrecke BST, SST be¬ zogene Sekundär-Metadaten enthalten, die vorzugsweise angeben, an welchen geografischen Positionen oder Ortskoordina- ten sich Anlagen an der Bahnstrecke BST, SST, die sogenannten Streckenanlagen SAL, wie z.B. der Bahnübergang BÜG in den FIGUREN 1 und 2, Weichen oder die das Signal SI gebende oder führende Anlage AL befinden. Gemäß der Darstellung in der FIGUR 3 ist die Informationsda¬ tenbank IDB der Bildanalysevorrichtung BAV in der Weise zugeordnet bzw. mit dieser verbindbar, als die Berechnungs- /Auswerteeinrichtung BAWE für die berechnungs- /auswertegestützte und fahrspurbasierte Bildanalyse zur Streckenanlage-/Streckenverlauf-/Obj ekt-Erkennung auf die in der Informationsdatenbank IDB gespeicherten Bild- Metainformationen BMI zugreift. Die Informationsdatenbank IDB ist dazu vorzugsweise außerhalb der Bildanalysevorrich¬ tung BAV, z.B. als Datenbank, in dem Triebwagen angeordnet oder ist als Daten-Cloud ausgebildet.
Für die berechnungs-/auswertegestützte und fahrspurbasierte Bildanalyse zur Streckenanlage-/Streckenverlauf-/Obj ekt- Erkennung weist die Berechnungs-/Auswerteeinrichtung BAWE vorzugsweise einen nicht-flüchtigen, lesbaren Speicher SP, in dem prozessorlesbare Steuerprogrammbefehle eines die Bildanalyse zur Streckenanlage-/Streckenverlauf-/Obj ekt- Erkennung steuernden Programm-Moduls PGM gespeichert sind, und einen Prozessor PZ, der die Steuerprogrammbefehle des Programm-Moduls PGM für die berechnungs-/auswertegestützte und fahrspurbasierte Bildanalyse zur Streckenanlage- /Streckenverlauf-/Obj ekt-Erkennung ausführt, auf. Dazu greift der Prozessor PZ zusätzlich - neben den Zugriffen auf die Bild-Metainformationen BMI in der Informationsdatenbank IDB - zu Steuerungszwecken und zum Auslesen von Daten auf das Bildaufzeichnungsgerät BAZG und die Bildspeichereinrich¬ tung BSPE zu. Die Berechnungs-/Auswerteeinrichtung BAWE bzw. das Programm- Modul PGM mit dem die Steuerprogrammbefehle des Programm- Moduls PGM für die berechnungs-/auswertegestützte und fahr¬ spurbasierte Bildanalyse zur Streckenanlage-/Streckenver- lauf-/Obj ekt-Erkennung ausführenden Prozessor PZ ist für die berechnungs-/auswertegestützte und fahrspurbasierte Bildana¬ lyse zur Streckenanlage-/Streckenverlauf-/Obj ekt-Erkennung zunächst im Umfang der gebildeten Funktionsteileinheit der¬ art ausgebildet, dass in den Bildern B I FSB , B Iglb jeweils der Bildbereich BIB ausgemacht wird, in dem in Bezug auf den bildlich dargestellten Fahrspurbereich FSB, GLB die erfasste Fahrspuren FS, GL im Wesentlichen an einer gleichen Stelle liegen . Zusätzlich ist die Berechnungs-/Auswerteeinrichtung BAWE bzw. das Programm-Modul PGM mit dem die Steuerprogrammbefehle des Programm-Moduls PGM ausführenden Prozessor PZ im Umfang der gebildeten Funktionseinheit derart ausgebildet, dass ausgehend von den Anteilen der erfassten Fahrspuren FS, GL in dem Bildbereich BIB mit Hilfe von Kantenerkennungsal¬ gorithmen der Verlauf einer von dem Bahnfahrzeug BFZ, SFZ benutzten Fahrspur FS, GL durch einen sich im erfassten Bild ändernden Bildanteils der Fahrspur FS, GL zum erfassten Gesamtbild erkannt und mit in der Informationsdatenbank IDB gespeicherten bekannten Bild-Metainformationen BMI abgeglichen wird.
Zur Streckenanlage-Erkennung der Streckenanlage SAL bzw. der das Signal SI gebenden oder führenden Anlage AL erfolgt die fahrspurbasierte Bildanalyse in der Berechnungs-/Auswerteein- richtung BAWE in vorteilhafter Weise derart, dass in dem Bild B I FSB , B I GLB erkannt wird, wo die Signalanlage SI, AL bzw. die Streckenanlage SAL zu finden ist, indem
1) für eine aktuell ermittelte geografische Position des Bahnfahrzeugs BFZ, SFZ der Bildteilbereich BTB in dem Bild
B I FSB , B I GLB ausgemacht wird, in dem ein markantes Anlagenmerk¬ mal der Streckenanlage SAL bzw. das Signal SI der Anlage AL zu erkennen ist, 2) der erste Bildabschnitt BAS1 in dem Bildteilbereich BTB bestimmt wird, durch den die von dem Bahnfahrzeug BFZ, SFZ benutzte Fahrspur FS, GL durchführt,
3) mit Hilfe eines ersten bekannten Metadatums über den Ab- stand der Streckenanlage SAL bzw. der Signalanlage SI, AL der Sekundär-Metadaten in den gespeicherten Bild- Metainformationen BMI ermittelt wird wie weit auf der Basis einer Breite der Fahrspur FS, GL in dem Bildabschnitt BAS1 Streckenanlage SAL bzw. der Signalanlage SI, AL von der Fahr- spur FS, GS beabstandet ist,
4) mit Hilfe eines zweiten bekannten Metadatums über die Au¬ ßenkanten der Streckenanlage SAL bzw. der Signalanlage SI, AL der Sekundär-Metadaten in den gespeicherten Bild-
Metainformationen BMI und eines Standardkantenerkennungsalgo- rithmus versucht wird, die Außenkanten Streckenanlage SAL bzw. der Signalanlage SI, AL in dem unter 3) ermittelten Abstand von der Fahrspur FS, GL so lange zu erkennen bis sich die bekannte und erkannte Außenkante im Wesentlichen überde¬ cken .
Zur Streckenverlauf-Erkennung, ob ein Fahrweg nach links oder rechts oder geradeaus weiterführt, also in welche Richtung die aus dem erkannten Verlauf erkannte Fahrspur FS, GL führt, ist die Berechnungs-/Auswerteeinrichtung BAWE bei der fahr- spurbasierten Bildanalyse in vorteilhafter Weise weiterhin derart ausgebildet, dass in dem Bild B I FSB / B I GLB erkannt wird, in welche Richtung, insbesondere LINKS, RECHTS oder GERADE¬ AUS, das Bahnfahrzeug BFZ, SFZ fährt, indem für die aus dem erkannten Verlauf erkannte Fahrspur FS, GL
1) eine Pseudo-GERADEAUS-Fahrspur , insbesondere ein Pseudo- GERADEAUS-Gleis , durch lineare Fortschreibung der gemäß dem Bildbereich BIB von dem Bahnfahrzeug BFZ, SFZ benutzten Fahrspur FS, GL künstlich erzeugt wird,
2) die Pseudo-GERADEAUS-Fahrspur mit der benutzten Fahrspur FS, GL in der Weise verglichen wird, dass
2.1) eine GERADEAUS-Richtung erkannt ist, wenn die vergliche¬ nen Fahrspuren FS, GL identisch sind, 2.2) eine LINKS-Richtung, z.B. eine LINKS-Kurve, erkannt ist, wenn die benutzte Fahrspur FS, GL links von der Pseudo- GERADEAUS-Fahrspur liegt,
2.3) eine RECHTS-Richtung, z.B. eine RECHTS-Kurve, erkannt ist, wenn die benutzte Fahrspur FS, GL rechts von der Pseudo- GERADEAUS-Fahrspur liegt.
Dabei ist es insbesondere möglich und die Berechnungs- /Auswerteeinrichtung BAWE entsprechend ausgebildet, dass aus dem Abstand der benutzten Fahrspur FS, GL von der Pseudo-
GERADEAUS-Fahrspur sowie vom Bahnfahrzeug BFZ, SFZ, der aus einer Breite der Fahrspur FS, GL im Bildbereich BIB und einer Breite der Fahrspur FS, GL jeweils in dem für das jeweilige Erkennen der GERADEAUS-Richtung, LINKS-Richtung oder RECHTS- Richtung relevanten zweiten Bildabschnittes BAS2 berechnet wird, ein Krümmungsgrad der LINKS-Richtung/Kurve respektive der RECHTS-Richtung/Kurve berechnet wird.
Zur Objekt-Erkennung ist Berechnungs-/Auswerteeinrichtung BAWE bei der fahrspurbasierten Bildanalyse darüber hinaus in vorteilhafter Weise derart ausgebildet, dass in dem Bild
BIFSB, BIGLB erkannt wird, ob sich mindestens ein Objekt OBJ, das beispielsweise eine Person, ein Tier, ein bewegbarer oder ortsfester Gegenstand sein kann, auf der benutzten Fahrspur FS, GL befinden, indem
1) eine personenbezogene Größe der Person und/oder eine ge¬ genstandbezogene Größe des bewegbaren Gegenstandes im Ver¬ hältnis zu einer bekannten Breite der Fahrspur FS, GL gesetzt wird, die aus einem dritten bekannten Metadatum über die Breite der Fahrspur FS, GL der Primär-Metadaten in den gespeicherten Bild-Metainformationen BMI gewonnen wird,
2) in dem Bild BIFSB, BIGLB die benutzte Fahrspur FS, GL sowie ein kritischer Bereich, der z.B. nach einer Umgebung der Fahrspur FS, GL, als da sind Land oder Stadt, unterschiedlich breit bemessen ist, links und rechts von der benutzten Fahrspur FS, GL in mehrere Analyseabschnitte mit steigendem Ab¬ stand zum Bahnfahrzeug BFZ, SFZ eingeteilt werden, 3) für jeden Analyseabschnitt ein umgebungsspezifischer Mustererkennungsalgorithmus zum Erkennen des Objektes OBJ be¬ nutzt wird. Dabei ist es insbesondere möglich und die Berechnungs-
/Auswerteeinrichtung BAWE entsprechend ausgebildet, dass bei sich einem bewegenden Objekt OBJ, z.B. eine Person, ein Tier, andere entgegenkommende oder vorausfahrende Bahnfahrzeuge etc., die Analyseabschnitte von mehreren aufeinanderfolgenden Bildern BIFSB, B I GLB in Beziehung zueinander gesetzt werden, um die Bewegung für die Vorausberechnung einer möglichen Kollision mit dem Objekt OBJ zu erkennen und zu verfolgen.
Darüber hinaus ist es vorzugsweise möglich und die Berech- nungs-/Auswerteeinrichtung BAWE entsprechend ausgebildet, dass in dem Bild B I ^SB ^ B I GLB erkannt wird, wie weit das Bahn— fahrzeug BFZ, SFZ von dem Objekt OBJ beabstandet ist, das auf der benutzten Fahrspur FS, GL erkannt worden ist, indem der aus einer Pixelbreite der Fahrspur FS, G) im Bildbereich BIB und einer Pixelbreite der Fahrspur FS, GL in dem dritten
Bildabschnittes BAS3, in dem sich das Objekt OBJ befindet, in Beziehung zueinander gesetzt werden, wobei aus diesem Verhältnis und der aus dem bekannten dritten Metadatum gewonnenen Breite der Fahrspur FS, GL der besagte Abstand berechnet wird.
Mit der wie vorstehend beschriebenen Bildanalysevorrichtung BAV kann ein automatisiertes (autonomes) oder unterstütztes Fahren des Bahnfahrzeugs BFZ bzw. des Schienenfahrzeugs SFZ ohne zusätzliche Infrastruktur entlang einer Fahrstrecke as¬ sistiert bzw. sogar realisiert werden. Dies ist insbesondere dann gegeben, wenn die Bildanalysevorrichtung BAV als eine virtuelle Maschine realisiert ist, die im Sinne eines "Soft¬ ware Defined Signal Recognition of Rail Traffic Systems" aus- gebildet ist und funktioniert.

Claims

Patentansprüche
1. Verfahren zur fahrspurbasierten Bildanalyse im Bahnverkehr (BVK) , insbesondere zur gleisbasierten Bildanalyse im Schie- nenverkehr (SVK) ,
dadurch gekennzeichnet, dass
a) von einem Bahnfahrzeug (BFZ) , insbesondere einem Schienenfahrzeug (SFZ) aus, insbesondere aus der Perspektive eines Triebwagenführers (FZF, TFS, TRW) und/oder aus einer ortsfes- ten, fahrspurobservierenden Position im oder am Fahrzeug
(BFZ, SFZ) , eine Vielzahl von einen Fahrspurbereich (FSB) , insbesondere einen Gleisbereich (GLB) , repräsentierenden Bildern (BIFSB, BIglb) erfasst wird,
b) in den Bildern (BIFSB, BIGLB) jeweils ein Bildbereich (BIB) ausgemacht wird, in dem in Bezug auf den bildlich dargestell¬ ten Fahrspurbereich (FSB, GLB) erfasste Fahrspuren (FS) , insbesondere Gleise (GL) , im Wesentlichen an einer gleichen Stelle liegen,
c ) ausgehend von den Anteilen der erfassten Fahrspuren (FS, GL) in dem Bildbereich (BIB) mit Hilfe von Kantenerkennungs¬ algorithmen der Verlauf einer von dem Bahnfahrzeug (BFZ, SFZ) benutzten Fahrspur (FS, GL) durch einen sich im erfassten Bild ändernden Bildanteils der Fahrspur (FS, GL) zum erfass¬ ten Gesamtbild erkannt und mit gespeicherten bekannten Bild- Metainformationen (BMI) abgeglichen wird, die zu der Fahrspur (FS, GL) bezogene Primär-Metadaten, insbesondere den Abstand von parallel verlaufenden Fahrspuren (FS, GL) sowie die Breite eines Fahrspurkopfes, insbesondere eines Schienenkopfes, oder als auch zu einer Bahnstrecke (BST) , insbesondere zu ei- ner Schienenstrecke (SST) , bezogene Sekundär-Metadaten, ins¬ besondere an welchen geografischen Positionen oder Ortskoordinaten sich Anlagen an der Bahnstrecke (BST, SST) , sogenannte Streckenanlagen (SAL) , wie Bahnübergänge, Weichen oder Signal gebende oder führende Anlagen, befinden, enthalten.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in dem Bild (BIFSB, BIGLB) erkannt wird, wo die Streckenanlage (SAL) zu finden ist, indem
a) für eine aktuell ermittelte geografische Position des Bahnfahrzeugs (BFZ , SFZ) ein Bildteilbereich (BTB) in dem Bild (BIFSB, BIGLB) ausgemacht wird, in dem ein markantes Anla¬ genmerkmal, insbesondere ein Signal (SI) der Signalanlage, zu erkennen ist,
b) ein erster Bildabschnitt (BAS1) in dem Bildteilbereich (BTB) bestimmt wird, durch den die von dem Bahnfahrzeug (BFZ, SFZ) genutzte Fahrspur (FS, GL) durchführt,
c ) mit Hilfe eines ersten bekannten Metadatums über den Ab¬ stand der Streckenanlage (SAL) der Sekundär-Metadaten in den gespeicherten Bild-Metainformationen (BMI) ermittelt wird wie weit auf der Basis einer Breite der Fahrspur (FS, GL) in dem Bildabschnitt (BAS1) die Streckenanlage (SAL) von der Fahr¬ spur (FS, GL) beabstandet ist,
d) mit Hilfe eines zweiten bekannten Metadatums über die Au¬ ßenkanten der Streckenanlage (SAL) der Sekundär-Metadaten in den gespeicherten Bild-Metainformationen (BMI) und eines Standardkantenerkennungsalgorithmus versucht wird, die Außen¬ kanten der Streckenanlage (SAL) in dem in c ) ermittelten Abstand von der Fahrspur (FS, GL) so lange zu erkennen bis sich die bekannte und erkannte Außenkante im Wesentlichen überde¬ cken .
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass
in dem Bild (BIFSB, BIGLB) erkannt wird, in welche Richtung, insbesondere LINKS, RECHTS oder GERADEAUS, das Bahnfahrzeug (BFZ, SFZ) fährt, indem für die aus dem erkannten Verlauf erkannte Fahrspur (FS, GL)
a) eine Pseudo-GERADEAUS-Fahrspur, insbesondere ein Pseudo- GERADEAUS-Gleis , durch lineare Fortschreibung der gemäß dem Bildbereich (BIB) von dem Bahnfahrzeug (BFZ, SFZ) benutzten Fahrspur (FS, GL) künstlich erzeugt wird,
b) die Pseudo-GERADEAUS-Fahrspur mit der benutzten Fahrspur (FS, GL) in der Weise verglichen wird, dass bl) eine GERADEAUS-Richtung erkannt ist, wenn die vergliche¬ nen Fahrspuren (FS, GL) identisch sind,
b2) eine LINKS-Richtung, insbesondere eine LINKS-Kurve, er¬ kannt ist, wenn die benutzte Fahrspur (FS, GL) links von der Pseudo-GERADEAUS-Fahrspur liegt,
b3) eine RECHTS-Richtung, insbesondere eine RECHTS-Kurve, er¬ kannt ist, wenn die benutzte Fahrspur (FS, GL) rechts von der Pseudo-GERADEAUS-Fahrspur liegt.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, d a s s
aus dem Abstand der benutzten Fahrspur (FS, GL) von der Pseudo-GERADEAUS-Fahrspur sowie vom Bahnfahrzeug (BFZ , SFZ) , der aus einer Breite der Fahrspur (FS, GL) im Bildbereich (BIB) und einer Breite der Fahrspur (FS, GL) in jeweils einem für das jeweilige Erkennen der GERADEAUS-Richtung, LINKS-Richtung oder RECHTS-Richtung relevanten zweiten Bildabschnittes
(BAS2) berechnet wird, ein Krümmungsgrad der LINKS- Richtung/Kurve respektive der RECHTS-Richtung/Kurve berechnet wird .
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass
in dem Bild ( B I FSB , B I GLB) erkannt wird, ob sich mindestens ein Objekt (OBJ), vorzugsweise eine Person, ein Tier, ein beweg¬ barer oder ortsfester Gegenstand, auf der benutzten Fahrspur (FS, GL) befindet, indem
a) eine personenbezogene Größe der Person und/oder eine ge¬ genstandbezogene Größe des bewegbaren Gegenstandes im Ver- hältnis zu einer bekannten Breite der Fahrspur (FS, GL) gesetzt wird, die aus einem dritten bekannten Metadatum über die Breite der Fahrspur (FS, GL) der Primär-Metadaten in den gespeicherten Bild-Metainformationen (BMI) gewonnen wird, b) in dem Bild (BIFSB, BIGLB) die benutzte Fahrspur (FS, GL) sowie ein kritischer Bereich, der vorzugsweise nach einer Umgebung der Fahrspur (FS, GL), z.B. Land oder Stadt, unterschiedlich breit bemessen ist, links und rechts von der be¬ nutzten Fahrspur (FS, GL) in mehrere Analyseabschnitte mit steigendem Abstand zum Bahnfahrzeug (BFZ, SFZ) eingeteilt werden,
c ) für jeden Analyseabschnitt ein umgebungsspezifischer Mustererkennungsalgorithmus zum Erkennen des Objektes (OBJ) be- nutzt wird.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, d a s s
bei einem sich bewegenden Objekt (OBJ), z.B. sich bewegende Person, sich bewegendes Tier, andere entgegenkommende oder vorausfahrende Bahnfahrzeuge etc., die Analyseabschnitte von mehreren aufeinanderfolgenden Bildern (BI FSB / BIGLB) in Bezie hung zueinander gesetzt werden, um die Bewegung für die Vorausberechnung einer möglichen Kollision mit dem Objekt (OBJ) zu erkennen und zu verfolgen.
7. Verfahren nach Anspruch 5 der 6, dadurch gekennzeichnet, dass
in dem Bild (BIFSB, BIGLB) erkannt wird, wie weit das Bahnfahr- zeug (BFZ, SFZ) von dem Objekt (OBJ) beabstandet ist, das auf der benutzten Fahrspur (FS, GL) erkannt worden ist, indem der aus einer Pixelbreite der Fahrspur (FS, GL) im Bildbe¬ reich (BIB) und einer Pixelbreite der Fahrspur (FS, GL) in einem dritten Bildabschnittes (BAS3) , in dem sich das Objekt (OBJ) befindet, in Beziehung zueinander gesetzt werden, wobei aus diesem Verhältnis und der aus dem bekannten dritten Metadatum gewonnenen Breite der Fahrspur (FS, GL) der besagte Abstand berechnet wird.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass
in dem Bild (BIFSB, BIGLB) erkannt wird, ob auf der benutzten Fahrspur (FS, GL) der Bahnstrecke (BST, SST) mindestens ein fremdes Objekt (OBJ) liegt, indem
a) das Erkennen des Verlaufs der von dem Bahnfahrzeug (BFZ, SFZ) benutzten Fahrspur (FS, GL) mit Hilfe der Kantenerkennungsalgorithmen fehlschlägt oder b) eine Unregelmäßigkeitserkennung anhand von regelmäßigen Mustern, die durch Fahrspurträger der Fahrspur (FS) respektive Gleisträger zwischen den parallel verlaufenden Gleisen (GL) gebildet werden, in der Weise durchgeführt wird, dass beim Erkennen einer Unregelmäßigkeit, vorzugsweise wenn ein Objekt (OBJ), z.B. eine Balise oder ein spielendes Kind, sich auf der benutzten Fahrspur (FS, GL) befindet, diese Unregel¬ mäßigkeit mit als Referenzinformationen genutzte und in Fahr- strecken-Initialisierungsläufen zuvor aufgenommene Strecken- bildern abgeglichen wird.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass
die Bilder ( B I FSB , B I GLB) mit mehreren Bildaufzeichnungsgeräten (BAZG) gleicher Bauart, z.B. mit Videokameras, oder unter¬ schiedlicher Bauart, z.B. mit Videokameras, Lasersensoren, RADAR-basierten, auf funkbasierte Ortung und Abstandsmessung beruhenden Sensoren, Infrarotkameras und/oder Wärmebildkame¬ ras, aufgenommen werden.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass
mit dem Verfahren ein automatisiertes (autonomes) oder unter¬ stütztes Fahren des Bahnfahrzeugs (BFZ, SFZ) ohne zusätzliche Infrastruktur entlang einer Fahrstrecke assistiert wird.
11. Vorrichtung (BAV) zur fahrspurbasierten Bildanalyse im Bahnverkehr (BVK) , insbesondere zur gleisbasierten Bildanalyse im Schienenverkehr (SVK) ,
gekennzeichnet durch
a) mindestens ein Bildaufzeichnungsgerät (BAZG) , mit dem von einem Bahnfahrzeug (BFZ) , insbesondere einem Schienenfahrzeug (SFZ) aus, insbesondere aus der Perspektive eines Triebwagen¬ führers (FZF, TFS, TRW) und/oder aus einer ortsfesten, fahr- spurobservierenden Position im oder am Fahrzeug (BFZ, SFZ) , eine Vielzahl von einen Fahrspurbereich (FSB) , insbesondere einen Gleisbereich (GLB) , repräsentierenden Bildern (BIFSB, B I GLB) erfassbar und in einer Bildspeichereinrichtung (BSPE) speicherbar sind,
b) eine Berechnungs-/Auswerteeinrichtung (BAWE) , die verbunden und funktional zusammenwirkend mit dem Bildaufzeichnungs- gerät (BAZG) und der Bildspeichereinrichtung (BSPE) derart, insbesondere mit einem nicht-flüchtigen, lesbaren Speicher (SP) , in dem prozessorlesbare Steuerprogrammbefehle eines die fahrspurbasierte Bildanalyse steuernden Programm-Moduls (PGM) gespeichert sind, und einem Prozessor (PZ) , der die Steuer- programmbefehle des Programm-Moduls (PGM) zur berechnungs- /auswertegestützten und fahrspurbasierten Bildanalyse ausführt, ausgebildet ist, dass in den Bildern (BIFSB, BIGLB) je¬ weils ein Bildbereich (BIB) ausgemacht wird, in dem in Bezug auf den bildlich dargestellten Fahrspurbereich (FSB, GLB) er- fasste Fahrspuren (FS, GL) im Wesentlichen an einer gleichen Stelle liegen,
c) die Berechnungs-/Auswerteeinrichtung (BAWE) , die verbunden und funktional zusammenwirkend mit einer Informationsdaten¬ bank (IDB), wobei vorzugsweise beide, die Bildspeicherein- richtung (BSPE) und die Informationsdatenbank (IDB), als bauliche Einheit in einer gemeinsamen Speichervorrichtung integriert sind, derart ausgebildet ist, dass ausgehend von den Anteilen der erfassten Fahrspuren (FS, GL) in dem Bildbereich (BIB) mit Hilfe von Kantenerkennungsalgorithmen der Verlauf einer von dem Bahnfahrzeug (BFZ, SFZ) benutzten Fahrspur (FS, GL) durch einen sich im erfassten Bild ändernden Bildanteils der Fahrspur (FS, GL) zum erfassten Gesamtbild erkannt und mit in der Informationsdatenbank (IDB) gespeicherten bekannten Bild-Metainformationen (BMI) abgeglichen wird, die sowohl zur Fahrspur (FS, GL) bezogene Primär-Metadaten, insbesondere den Abstand von parallel verlaufenden Fahrspuren (FS, GL) sowie die Breite eines Fahrspurkopfes, insbesondere eines
Schienenkopfes, als auch zu einer Bahnstrecke (BST) , insbe¬ sondere zu einer Schienenstrecke (SST) , bezogene Sekundär- Metadaten, insbesondere an welchen geografischen Positionen oder Ortskoordinaten sich Anlagen an der Bahnstrecke (BST, SST) , sogenannte Streckenanlagen (SAL) , wie Bahnübergänge, Weichen oder Signal gebende oder führende Anlagen befinden, enthalten .
12. Vorrichtung (BAV) nach Anspruch 11, dadurch gekenn- zeichnet, dass
die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass in dem Bild (BIFSB/ BIGLB) erkannt wird, wo die Streckenanlage (SAL) zu finden ist, indem
a) für eine aktuell ermittelte geografische Position des Bahnfahrzeugs (BFZ , SFZ) ein Bildteilbereich (BTB) in dem
Bild (BIFSB, BIGLB) ausgemacht wird, in dem ein markantes Anla¬ genmerkmal, insbesondere ein Signal (SI) der Signalanlage, zu erkennen ist,
b) ein erster Bildabschnitt (BAS1) in dem Bildteilbereich (BTB) bestimmt wird, durch den die von dem Bahnfahrzeug (BFZ, SFZ) benutzte Fahrspur (FS, GL) durchführt,
c ) mit Hilfe eines ersten bekannten Metadatums über den Ab¬ stand der Streckenanlage (SAL) der Sekundär-Metadaten in den gespeicherten Bild-Metainformationen (BMI) ermittelt wird wie weit auf der Basis einer Breite der Fahrspur (FS, GL) in dem Bildabschnitt (BAS1) die Streckenanlage (SAL) von der Fahr¬ spur (FS, GS) beabstandet ist,
d) mit Hilfe eines zweiten bekannten Metadatums über die Au¬ ßenkanten der Streckenanlage (SAL) der Sekundär-Metadaten in den gespeicherten Bild-Metainformationen (BMI) und eines
Standardkantenerkennungsalgorithmus versucht wird, die Außen¬ kanten der Streckenanlage (SAL) in dem in c ) ermittelten Abstand von der Fahrspur (FS, GL) so lange zu erkennen bis sich die bekannte und erkannte Außenkante im Wesentlichen überde- cken.
13. Vorrichtung (BAV) nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass
die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebil- det ist, dass in dem Bild (BIFSB/ BIGLB) erkannt wird, in wel¬ che Richtung, insbesondere LINKS, RECHTS oder GERADEAUS, das Bahnfahrzeug (BFZ, SFZ) fährt, indem für die aus dem erkannten Verlauf erkannte Fahrspur (FS, GL) a) eine Pseudo-GERADEAUS-Fahrspur , insbesondere ein Pseudo- GERADEAUS-Gleis , durch lineare Fortschreibung der gemäß dem Bildbereich (BIß) von dem Bahnfahrzeug (BFZ, SFZ) benutzten Fahrspur (FS, GL) künstlich erzeugt wird,
b) die Pseudo-GERADEAUS-Fahrspur mit der benutzten Fahrspur (FS, GL) in der Weise verglichen wird, dass
bl) eine GERADEAUS-Richtung erkannt ist, wenn die vergliche¬ nen Fahrspuren (FS, GL) identisch sind,
b2) eine LINKS-Richtung, insbesondere eine LINKS-Kurve, er- kannt ist, wenn die benutzte Fahrspur (FS, GL) links von der Pseudo-GERADEAUS-Fahrspur liegt,
b3) eine RECHTS-Richtung, insbesondere eine RECHTS-Kurve, er¬ kannt ist, wenn die benutzte Fahrspur (FS, GL) rechts von der Pseudo-GERADEAUS-Fahrspur liegt.
14. Vorrichtung (BAV) nach Anspruch 13, dadurch gekennzeichnet, dass
die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass aus dem Abstand der benutzten Fahrspur (FS, GL) von der Pseudo-GERADEAUS-Fahrspur sowie vom Bahnfahrzeug (BFZ, SFZ) , der aus einer Breite der Fahrspur (FS, GL) im Bildbereich (BIB) und einer Breite der Fahrspur (FS, GL) in jeweils einem für das jeweilige Erkennen der GERADEAUS- Richtung, LINKS-Richtung oder RECHTS-Richtung relevanten zweiten Bildabschnittes (BAS2) berechnet wird, ein Krümmungs¬ grad der LINKS-Richtung/Kurve respektive der RECHTS- Richtung/Kurve berechnet wird.
15. Vorrichtung (BAV) nach einem der Ansprüche 11 bis 14, dadurch gekennzeichnet, dass
die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass in dem Bild (B I FSB / B I GLB) erkannt wird, ob sich mindestens ein Objekt (OBJ), vorzugsweise eine Person, ein Tier, ein bewegbarer oder ortsfester Gegenstand, auf der be- nutzten Fahrspur (FS, GL) befinden, indem
a) eine personenbezogene Größe der Person und/oder eine ge¬ genstandbezogene Größe des bewegbaren Gegenstandes im Ver¬ hältnis zu einer bekannten Breite der Fahrspur (FS, GL) ge- setzt wird, die aus einem dritten bekannten Metadatum über die Breite der Fahrspur (FS, GL) der Primär-Metadaten in den gespeicherten Bild-Metainformationen (BMI) gewonnen wird, b) in dem Bild ( B I FSB , BIGLB) die benutzte Fahrspur (FS, GL) sowie ein kritischer Bereich, der vorzugsweise nach einer Umgebung der Fahrspur (FS, GL), z.B. Land oder Stadt, unterschiedlich breit bemessen ist, links und rechts von der be¬ nutzten Fahrspur (FS, GL) in mehrere Analyseabschnitte mit steigendem Abstand zum Bahnfahrzeug (BFZ, SFZ) eingeteilt werden,
c) für jeden Analyseabschnitt ein umgebungsspezifischer Mustererkennungsalgorithmus zum Erkennen des Objektes (OBJ) be¬ nutzt wird.
16. Vorrichtung (BAV) nach Anspruch 15, dadurch gekennzeichnet, dass
die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass bei sich einem bewegenden Objekt (OBJ), z.B. eine Person, ein Tier, andere entgegenkommende oder voraus- fahrende Bahnfahrzeuge etc., die Analyseabschnitte von mehre¬ ren aufeinanderfolgenden Bildern ( B I FSB , B I GLB) in Beziehung zueinander gesetzt werden, um die Bewegung für die Vorausberechnung einer möglichen Kollision mit dem Objekt (OBJ) zu erkennen und zu verfolgen.
17. Vorrichtung (BAV) nach Anspruch 15 oder 16, dadurch gekennzeichnet, dass
die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass in dem Bild ( B I FSB / B I GLB) erkannt wird, wie weit das Bahnfahrzeug (BFZ, SFZ) von dem Objekt (OBJ) beabstandet ist, das auf der benutzten Fahrspur (FS, GL) erkannt worden ist, indem
der aus einer Pixelbreite der Fahrspur (FS, GL) im Bildbe¬ reich (BIB) und einer Pixelbreite der Fahrspur (FS, GL) in einem dritten Bildabschnittes (BAS3) , in dem sich das Objekt (OBJ) befindet, in Beziehung zueinander gesetzt werden, wobei aus diesem Verhältnis und der aus dem bekannten dritten Meta- datum gewonnenen Breite der Fahrspur (FS, GL) der besagte Abstand berechnet wird.
18. Vorrichtung (BAV) nach einem der Ansprüche 11 bis 17, dadurch gekennzeichnet, dass
die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass in dem Bild ( B I FSB / B I GLB) erkannt wird, ob auf der benutzten Fahrspur (FS, GL) der Bahnstrecke (BST, SST) mindestens ein fremdes Objekt (OBJ) liegt, indem
a) das Erkennen des Verlaufs der von dem Bahnfahrzeug (BFZ, SFZ) benutzten Fahrspur (FS, GL) mit Hilfe der Kantenerkennungsalgorithmen fehlschlägt oder
b) eine Unregelmäßigkeitserkennung anhand von regelmäßigen Mustern, die durch Fahrspurträger der Fahrspur (FS) respekti- ve Gleisträger zwischen den parallel verlaufenden Gleisen (GL) gebildet werden, in der Weise durchgeführt wird, dass beim Erkennen einer Unregelmäßigkeit, vorzugsweise wenn ein Objekt (OBJ), z.B. eine Balise oder ein spielendes Kind, sich auf der genutzten Fahrspur (FS) respektive dem benutzten Gleis (GL) befindet, diese Unregelmäßigkeit mit als Referenz¬ informationen genutzte und in Fahrstrecken-Initialisierungs- läufen zuvor aufgenommene Streckenbildern abgeglichen wird.
19. Vorrichtung (BAV) nach einem der Ansprüche 11 bis 18, dadurch gekennzeichnet, dass
mehrere Bildaufzeichnungsgeräte (BAZG) gleicher Bauart, z.B. mehrere Videokameras, oder unterschiedlicher Bauart, z.B. mehrere Videokameras, Lasersensoren, RADAR-basierte, auf funkbasierte Ortung und Abstandsmessung beruhende Sensoren, Infrarotkameras und/oder Wärmebildkameras, enthalten sind, die die Bilder ( B I FSB , BIGLB) aufnehmen.
20. Vorrichtung (BAV) nach einem der Ansprüche 11 bis 19, dadurch gekennzeichnet, dass
das Bildaufzeichnungsgerät (BAZG) schwenkbar ausgebildet ist.
21. Vorrichtung (BAV) nach einem der Ansprüche 11 bis 20, dadurch gekennzeichnet, dass das Bildaufzeichnungsgerät (BAZG) eine Korrekturkomponente (KOK) aufweist, die in die Auswertung des Bildmaterials Wet¬ ter- und Helligkeitsdaten mit einbezieht.
22. Vorrichtung (BAV) nach einem der Ansprüche 11 bis 21, dadurch gekennzeichnet, dass
das Bildaufzeichnungsgerät (BAZG) eine Brennweiteverände¬ rungskomponente (BVK) aufweist, die in Abhängigkeit vom Ab¬ stand zur Fahrspur (FS, GL) den richtigen Aufnahmewinkel wählt, um so die mehrfache Auswertung optimal zu unterstüt¬ zen .
23. Vorrichtung (BAV) nach einem der Ansprüche 11 bis 22, dadurch gekennzeichnet, dass
das Bildaufzeichnungsgerät (BAZG) eine Beleuchtungskomponente (BLK) , insbesondere einen Scheinwerfer der inner- oder außerhalb des menschlich sichtbaren Bereichs arbeitet, aufweist.
24. Vorrichtung (BAV) nach einem der Ansprüche 11 bis 23, gekennzeichnet durch
eine virtuelle Maschine, die im Sinne eines "Software
Defined Signal Recognition of Rail Traffic Systems" ausge¬ bildet ist und funktioniert.
25. Vorrichtung (BAV) nach einem der Ansprüche 11 bis 24, dadurch gekennzeichnet, dass
mit der Vorrichtung (BAV) ein automatisiertes (autonomes) oder unterstütztes Fahren des Bahnfahrzeugs (BFZ, SFZ) ohne zusätzliche Infrastruktur entlang einer Fahrstrecke assist- ierbar ist.
26. Bahnfahrzeug (BFZ) zur fahrspurbasierten Bildanalyse im Bahnverkehr (BVK) , insbesondere zur gleisbasierten Bildanalyse im Schienenverkehr (SVK), dadurch gekennzeichnet, dass
eine Vorrichtung (BAV) zur fahrspurbasierten Bildanalyse respektive zur gleisbasierten Bildanalyse, nach einem der An- Sprüche 11 bis 25 in das Bahnfahrzeug (BFZ, SFZ) integriert ist .
EP17829135.7A 2016-12-07 2017-12-07 Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur fahrspurbasierten bildanalyse im bahnverkehr, insbesondere zur gleisbasierten bildanalyse im schienenverkehr Pending EP3523175A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016224331 2016-12-07
PCT/EP2017/081845 WO2018104462A1 (de) 2016-12-07 2017-12-07 Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur fahrspurbasierten bildanalyse im bahnverkehr, insbesondere zur gleisbasierten bildanalyse im schienenverkehr

Publications (1)

Publication Number Publication Date
EP3523175A1 true EP3523175A1 (de) 2019-08-14

Family

ID=60972170

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17829135.7A Pending EP3523175A1 (de) 2016-12-07 2017-12-07 Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur fahrspurbasierten bildanalyse im bahnverkehr, insbesondere zur gleisbasierten bildanalyse im schienenverkehr

Country Status (4)

Country Link
EP (1) EP3523175A1 (de)
CN (1) CN110248858A (de)
RU (1) RU2720303C1 (de)
WO (1) WO2018104462A1 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018215697A1 (de) * 2018-09-14 2020-03-19 Siemens Mobility GmbH Automatisiertes fahrzeugseitiges Steuerungssystem für ein Schienenfahrzeug
EP3858705A4 (de) * 2018-09-26 2022-07-06 Hitachi, Ltd. Zugsteuerungsvorrichtung und zugsteuerungssystem
CN109720381A (zh) * 2018-12-28 2019-05-07 深圳华侨城卡乐技术有限公司 一种轨道车防撞方法及其系统
DE102019206348A1 (de) * 2019-05-03 2020-07-23 Siemens Mobility GmbH Verfahren und Computer-Programm-Produkt zum Erkennen von Signalzeichen zur Verkehrssteuerung spurgebundener Fahrzeuge sowie Signalzeichenerkennungssystem und Spurgebundenes Fahrzeug, insbesondere Schienenfahrzeug
US10919546B1 (en) 2020-04-22 2021-02-16 Bnsf Railway Company Systems and methods for detecting tanks in railway environments
CN112810669A (zh) * 2020-07-17 2021-05-18 周慧 城际列车运行控制平台及方法
CN112319552A (zh) * 2020-11-13 2021-02-05 中国铁路哈尔滨局集团有限公司 轨道车运行探测预警系统
RU2766936C1 (ru) * 2021-10-19 2022-03-16 Акционерное общество «Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте» Устройство контроля за управлением локомотивом и бдительностью машиниста
CN115610479B (zh) * 2022-09-23 2023-09-15 北京京天威科技发展有限公司 一种铁路线路状态巡检系统和方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2779518B1 (fr) * 1998-06-09 2000-08-18 Thomson Csf Procede optique de reconstruction du trace d'une voie le long de laquelle se deplace un vehicule guide
DE102006007788A1 (de) * 2006-02-20 2007-08-30 Siemens Ag Verfahren zur rechnergestützten Überwachung des Betriebs eines einen vorgegebenen Streckenverlauf fahrenden Fahrzeugs, insbesondere eines spurgebundenen Schienenfahrzeugs
CN101108627A (zh) * 2007-08-30 2008-01-23 桂林市思奇通信设备有限公司 铁路行车安全自动监控系统及其运行方法
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US9810533B2 (en) * 2011-04-27 2017-11-07 Trimble Inc. Railway track monitoring
DE102014217954B4 (de) * 2014-09-09 2016-09-29 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung eines Soll-Neigungswinkels eines Schienenfahrzeugs
CN104386092B (zh) * 2014-10-21 2017-02-22 卡斯柯信号有限公司 基于图像识别和多感知融合的列车自动防护系统及方法
CN105701844B (zh) * 2016-01-15 2018-11-27 苏州大学 基于颜色特征的障碍物或阴影检测方法
RU2711556C1 (ru) 2016-04-08 2020-01-17 Сименс Мобилити Гмбх Способ, устройство и железнодорожное транспортное средство, в частности рельсовое транспортное средство, для распознавания сигналов в железнодорожном движении, в частности рельсовом движении

Also Published As

Publication number Publication date
RU2720303C1 (ru) 2020-04-28
CN110248858A (zh) 2019-09-17
WO2018104462A1 (de) 2018-06-14

Similar Documents

Publication Publication Date Title
EP3523175A1 (de) Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur fahrspurbasierten bildanalyse im bahnverkehr, insbesondere zur gleisbasierten bildanalyse im schienenverkehr
WO2018104454A2 (de) Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur hinderniserkennung im bahnverkehr, insbesondere im schienenverkehr
EP1176569B1 (de) Verfahren zur Bestimmung des Verkehrszustands in einem Verkehrsnetz mit effektiven Engstellen
DE69731009T2 (de) System zum Erkennen von Hindernissen
DE19529986C2 (de) Verfahren zur Ortung spurgeführter Fahrzeuge und Einrichtungen zur Durchführung des Verfahrens
EP3526097A1 (de) Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur fahrspurerkennung im bahnverkehr, insbesondere zur gleiserkennung im schienenverkehr
WO2017174155A1 (de) Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur signalerkennung im bahnverkehr, insbesondere schienenverkehr
DE102005024558A1 (de) Verfahren zur Bestimmung der Geometrie eines Streckenabschnittes
DE102012024873A1 (de) Verfahren und Steuervorrichtung zum Bereitstellen eines vorausliegenden Straßenverlaufs
DE102015207123A1 (de) Fahrassistenzvorrichtung und -verfahren
DE102012107918A1 (de) Schienenfahrzeug-Ortungssystem und Schienenfahrzeug mit einem solchen Ortungssystem
DE102013104088A1 (de) Verfahren zur automatischen Detektion von charakteristischen Elementen, insbesondere eines Bahnübergangs, und Einrichtung dafür
DE10048362C2 (de) Verfahren und Anordnung zur Erfassung von Verkehrsdaten mittels Detektion und Klassifikation sich bewegender oder stehender Fahrzeuge
EP1297309B1 (de) Verfahren zur erfassung von verkehrslagedaten
EP3052963A1 (de) Verfahren zur korrektur von positionsdaten und kraftfahrzeug
DE102011106345B4 (de) Streckenvalidierung
EP0795455B1 (de) Verfahren zur Eigenortung eines spurgeführten Fahrzeugs und Einrichtung zur Durchführung des Verfahrens
EP3787950B1 (de) Verfahren und einrichtung zum erkennen hinterherfahrender fahrzeuge
WO2020224853A1 (de) Verfahren und computer-programm-produkt zum erkennen von signalzeichen zur verkehrssteuerung spurgebundener fahrzeuge sowie signalzeichenerkennungssystem und spurgebundenes fahrzeug, insbesondere schienenfahrzeug
DE102007028325A1 (de) Ortungsvorrichtung zur Ermittlung der Position von fahrweggebundenen Fahrzeugen
AT520261B1 (de) Kollisionsschutz für Schienenfahrzeuge
DE10018562C1 (de) Verfahren zur Gewinnung von Verkehrsdaten für ein Verkehrsnetz mit verkehrsgeregelten Netzknoten durch Meldefahrzeuge
DE102006029845B4 (de) Vorrichtung und Verfahren zur Absicherung von Streckenabschnitten eines segmentierten Fahrweges für einen schienengebundenen Fahrzeugverband
WO2018104427A1 (de) Verfahren, vorrichtung und schienenfahrzeug zur positionsbestimmung im schienenverkehr
WO2019201650A1 (de) Verfahren und vorrichtung zum bestimmen einer hochgenauen position eines fahrzeugs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190509

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20211025