EP2356627A1 - Method for detection of the stopping process of vehicles - Google Patents

Method for detection of the stopping process of vehicles

Info

Publication number
EP2356627A1
EP2356627A1 EP09774608A EP09774608A EP2356627A1 EP 2356627 A1 EP2356627 A1 EP 2356627A1 EP 09774608 A EP09774608 A EP 09774608A EP 09774608 A EP09774608 A EP 09774608A EP 2356627 A1 EP2356627 A1 EP 2356627A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
image
passage
vehicles
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP09774608A
Other languages
German (de)
French (fr)
Inventor
Dieter Schmidradler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smartspector Artificial Perception Engineering GmbH
Original Assignee
Smartspector Artificial Perception Engineering GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smartspector Artificial Perception Engineering GmbH filed Critical Smartspector Artificial Perception Engineering GmbH
Publication of EP2356627A1 publication Critical patent/EP2356627A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Definitions

  • the invention relates to a method for detecting the stopping of vehicles.
  • the invention relates to a device for detecting the stopping of vehicles, comprising a camera which cyclically detects images of passing vehicles obliquely to the direction of travel from an angle of view, as well as an evaluation unit which takes over these images.
  • Holding Bid Compliance with the Holding Bid is an essential basis for avoiding accidents and dangerous situations in traffic.
  • the specification of the holding bid is usually either static, e.g. by means of a stop table and a stop line or time-dependent, e.g. by means of a traffic light state "red".
  • Automated methods are based on known methods of speed measurement (typically radar, laser), wherein the undershooting of a measured minimum speed is rated as "stopping".
  • imaging measurement methods which recognize vehicles by means of known methods of image sequence analysis as foreground objects and derived movement trajectories from these foreground objects.
  • image sequence analysis For the automatic evaluation of the traffic flow today also imaging measurement methods are used, which recognize vehicles by means of known methods of image sequence analysis as foreground objects and derived movement trajectories from these foreground objects.
  • shadowing by neighboring Vehicles Through changing light and shadow conditions, shadowing by neighboring Vehicles, adverse weather conditions and ambiguities in the image often result in such imaging measuring methods to significant losses in measurement accuracy and tracking errors.
  • the process must be documented on the basis of at least one suitable camera and the vehicle registration number (hereinafter referred to as "number plate") of the vehicle must be recorded.
  • Another known system avoids the technical disadvantages of tracking general vehicle contours described above by using evaluation results of a license plate reading to carry out a passage recognition on the basis of a cycle-related localization and the tracking of the license plate over the entire observation area (WO 2007107875A2).
  • the said system is based on stereoscopic measuring methods and requires appropriate calibration procedures and sufficiently rigid mechanical couplings between at least two cameras.
  • a predominant part of today's known camera systems for the automatic reading of license plates is only used to determine the identity of vehicles based on their license plate.
  • both foreign-triggered systems which receive a control signal for image acquisition and / or evaluation of an external detector (eg camera in speed monitoring), and free-running, cyclic measuring camera systems that automatically recognize a passage using known methods of image processing and thus ensure that only one passenger message with the evaluation result of the license plate reading is generated for a passage of a vehicle.
  • This object is achieved by a method mentioned above in that according to the invention, a camera from an angle obliquely to the direction of cyclic captured images of passing vehicles, an evaluation takes over these images, this evaluation unit in the images structural elements that are the number plate associated, within observes the position of at least one uniquely located structural element of the license plate in the image of a defined observation area and detects the stopping of the vehicle on the basis of the presence of accumulation values of the at least one structural element at at least one position in the observation area in successive measurement cycles.
  • the evaluation unit is set up to segment structural elements belonging to the license plate into the images, furthermore within a defined observation area across cycles the position of at least one uniquely located structural element of the license plate in the image and to detect the stopping of the vehicle on the basis of the presence of accumulation values of the at least one structural element at at least one position in the observation area in successive measuring cycles.
  • the viewing area can either cover the entire field of view of the camera or as a partial area, e.g. be defined by a trigger line or as part of a trigger line, by a circumscribing rectangle or by a polygon within the field of view of the camera.
  • images are recorded with a suitably selected cycle duration and not the general vehicle contours, but precisely those unique structural elements of the registration mark are tracked, which makes possible a precise and clearly traceable determination of the vehicle position.
  • the developed method is characterized in that in a obliquely to the optical axis of the camera passing vehicle with registration marks by a vanishing difference segmented elements of the plate over two or more cycles, the stopping of a vehicle is determined beyond doubt.
  • a non-stop can be determined beyond doubt if the position of the segmented elements has shifted noticeably with each measurement cycle.
  • results are made anonymous by making found marks in the result image hidden or made anonymous (eg unrecognizable);
  • a spatial position of the license plate position is determined from known real dimensions of structural elements of the license plate and known optical imaging ratios of the camera, wherein in particular an average speed of two different measurement cycles of a passage is determined by the change of the determined spatial position with respect to the time difference of the two Measuring cycles is set; It may be advantageous if a cycle-resolved speed curve is calculated by calculating the average speeds successive measuring cycles is determined;
  • the evaluation unit for documenting the temporal course of motion for individual vehicle passages generates a time-coded overlay image, wherein in particular the time-coded overlay image, an intensity or color-coded time axis is generated with the recording times, and wherein after complete passage based on the actual number of measuring cycles, a dynamic spread the intensity assignment of the time-coded sub-picture image is made in order to achieve a high-contrast representation;
  • the evaluation unit for documenting the temporal course of motion for individual vehicle passages for displaying a clustering each generates a summation image in which prior to the first detection of a new vehicle, the entire image area is initialized with the value 0 and with each measurement cycle those pixels of the summation image increments, in the in the current measuring cycle is not disappearing segmentation result, wherein in particular after complete passage on the basis of the actually occurring maximum accumulation values, a dynamic spread of the intensity assignment of the overlay image is made in order to achieve a high-contrast representation;
  • the passage is treated in relation to at least one external signal, it being possible for the time characteristic of the external signal to be assigned via a time diagram to the pictorial passport documentation;
  • FIG. 1a shows an example of a measuring arrangement in a perspective view
  • FIG. 1b shows an example of the measuring arrangement in a view from above
  • FIG. 2 shows an example of the cross-cycle tracking of unique ones
  • FIGS. 3a-3d show different velocity profiles in relation to image acquisition and analysis
  • FIG. 4 compares the real license plate geometry with the distorted license plate image.
  • FIGS. 5a-5f make different based on a simple segmentation result
  • FIGS. 6a-6d show the visualization possibilities on a real example
  • FIGS. 7a-7d show the visualization of movement processes including the stopping process with reference to two examples.
  • Figures 8a-8b show an implementation example for the consideration of an external state for the temporal evaluation of a passage situation.
  • FIG. 1 shows an example of an advantageous sensor arrangement in two views: a camera (1) detects the vehicle front, including license plate (3) within a defined measuring range (4), from a passing vehicle (2). These images are processed by an evaluation unit (5) integrated in the camera or connected to the camera.
  • FIG. 2 shows the detection of a characteristic (3) at discrete measurement times (9). Precisely because of the uniqueness of the mark as a whole, it is possible to determine trajectories (10) for suitably selected contour features of the registration mark very precisely over the entire observation period.
  • the velocity component is calculated normal to the optical axis
  • V q (t n) h I dpjxel ⁇ pjxel I (t n -t n .i).
  • the symbol height can either be known a priori or can be derived from geometrical conditions at the location (for example nominal measurement distance of a mark to a defined trigger line).
  • FIGS. 3a-3d show possible real speed profiles v (t) (12) and detections of a passage, as well as discrete-time determined velocities normal to the optical axis v q (t n ) (13). While FIGS. 3 a, 3 b and 3 c show a measurement with a sufficient sampling rate, in FIG. 3 d a sampling rate that is too low is set, which in the assumed case leads to a misdetection of the measuring system.
  • the measuring system detects a steadily reducing velocity v q (t n ), which corresponds to a monotonous decrease in speed qualitatively with the real speed decrease.
  • v q (t n ) is thus a correct lower bound for the real mean passage velocity in the time interval [t n , t n . ⁇ ⁇ .
  • a stop of the vehicle apparently does not take place throughout the passage.
  • the measuring system correctly interprets a vehicle passage without stopping.
  • the vehicle stops, the vehicle / license plate is located at an identical position at the sampling times t 2 and t 3 , so that the stopping of the vehicle can be determined correctly on the basis of the speed component v q (t 3 ).
  • the structural elements of the plate Due to the matching position of the vehicle at successive sampling times, the structural elements of the plate also occur repeatedly on successive measuring cycles at a constant image position.
  • the standstill of the vehicle is thus synonymous with the occurrence of a characteristic maximum of the frequency distribution of the structural elements of the plate at the holding position in the picture.
  • An accumulation value assigned to the structure element at a specific image position thus characterizes the stopping of the vehicle, the accumulation value corresponding to the number of measurement cycles in which the vehicle stops.
  • Figure 3c shows an example of a passage in which the path difference between successive measuring cycles is so small that the measuring system detects a stop of the vehicle Thresholds for the positional tolerance of a stationary object due to the spatial quantization and possible vibrations at the measuring location, as well as due to the selected sampling rate, a lower limit speed v % m ⁇ n can be specified, from which a stopping process can be detected despite not disappearing speed.
  • the speed v (f) of a vehicle is at least a time-continuous physical quantity with a correspondingly limited positive and negative rate of change.
  • a time interval [f SfO p, t stop + i] can be defined within which an acceleration from standstill at time t stop results in only a minimal position shift In any case, the measuring system would still be interpreted as a "standstill".
  • FIG. 3d shows a case example of a sampling rate that is too low. After the sampling cycle at time t 2 , the vehicle reduces its speed to a stop and accelerates before the next sampling at time t 3 . It can be seen from the timing diagram that the measuring system erroneously detects a violation in this situation.
  • the velocity component v (t) along the optical axis can be determined by determining the change in distance between camera and license plate in addition to a velocity component normal to the optical axis . If we first consider distortions and location-dependent aberrations of the optics, we can use the height of the symbol in the image area, hp Xe ⁇ t), (11), and a subsuming global optical correction factor k opt to determine a time-dependent distance d (t) between the camera and characteristics are calculated:
  • V ⁇ (t n ) k O pf (H / hp iX ⁇ 1 (t n ) -H / hpi X ⁇ 1 (t n . 1 ))
  • a position C (t n ) (17) of the code can be obtained from the object coordinate system (u'.v'.w 1 ) are converted by means of coordinate transformation into a time-independent camera coordinate system:
  • Vehicle characteristic the average passage speed can be derived: v m ⁇ t m , t k )
  • the velocity vector results directly from the positional shifts of the characteristic position C (t) on which the evaluation is based.
  • a quasicontinuous velocity profile for the entire process can be determined on the basis of the considerations previously made with regard to the required sampling rate and mass inertia Derive observation area.
  • the location of the license plate position in the camera coordinate system now also opens up the possibility of establishing a spatial context for further vehicle front object areas, in particular in conjunction with the speed vector detectable across the cycle. This also means that other vehicle features on the front of the vehicle are interpreted spatially, and thus dimensions of the vehicle can be determined.
  • FIG. 5a defines an image coordinate system to illustrate advantageous visualization techniques.
  • FIG. 4b shows a segmented symbol in the image coordinate system at different acquisition times.
  • FIG. 5d shows the principle of a time-coded representation.
  • all pixels of the result image are initialized with O.
  • the intensity values n + ⁇ are assigned to all segmented pixels in the result image. This makes it possible to present the sequence of movement based on the segmentation result in a temporal context. For zones of lower passage speed, segmentation results of the same structural element are close to each other, so that the intensity changes rapidly over the location in the result image. At standstill, the segmentation results of the same structural element are substantially congruent, the intensity profile changes abruptly.
  • the time profile can be determined on the basis of the actually occurring intensity values l.sub.Org (x, y), ie on the basis of the number of measurement cycles for the passage, via a suitable assignment rule within the representable intensity range (17 ) in the result image / res (x, y).
  • the well-known principle of false-color representation can subsequently be applied to the result image l res .
  • FIG. 5e shows a representation in frequency-coded form. If the symbols overlap at a correspondingly low passage speed, such an overlay image gives a particularly clear impression of speed changes and stopping.
  • the entire result image is initialized with O values before the start of detection. Subsequently, in each measurement cycle, all pixels are incremented to currently segmented regions in the result image. In particular, in those pictures, therefore, those panel positions in which the vehicle has been stopped are clearly highlighted.
  • the frequency-coded image according to FIG. 5f can be assigned on the basis of the actually occurring accumulation values l or g (x, y) via a suitable assignment rule within the representable intensity range in the result image / res (x > y).
  • the well-known principle of false-color representation can subsequently be applied to the result image l res . Since the time-coded visualization as coding of the trajectories, and the frequency coding with the clear emphasis of stationary segmentation areas provides essential impressions for a subjective interpretation, a combined application of different visualization techniques is particularly advantageous.
  • FIG. 6a-6d show a combined visualization of photorealistic representation and the proposed overlay images on a real example.
  • FIG. 6a shows a frequency coding with non-overlapping segmentation regions.
  • a legend (18) represents the relation between frequency p (x, y) and intensity value or false color.
  • FIG. 6b shows the same segmentation regions in time-coded representation.
  • the time information is assigned to the image in a legend (19).
  • Figure 6c shows an overall picture illustrating some of the particular advantages of the present invention:
  • a text box (20) relevant data for the passage is documented.
  • a photorealistic image (21) with the insertion of the defined trigger line (22) establishes a clear relationship between the position of the mark and the position of a real stop line.
  • a color mapping table (24) shows the association between intensity values and representation in image areas (21) and (23).
  • the overlay images (25) and (26) are highlighted in the real composition image.
  • FIG. 6d shows an inverse representation of the overall image of FIG. 6c that is more suitable for printing.
  • Figures 7a-7d show two passages where the vehicle stops within the observation area.
  • FIGS. 7a and 7b show the same passage in normal and inverse representation, wherein the vehicle stops exactly once in the measuring range (27).
  • a further advantage of the invention according to FIGS. 7c and 7d is also that both the method and the image material derivable therefrom allow a direct interpretation of multiple speed changes and stopping processes (28) as well as a determination of time-dependent directions of travel.
  • the measuring system is to have a time-dependent holding requirement, e.g. At controlled intersections, the signal indicative of the hold in the measurement range can be scanned either optically by means of another camera or by means of a photodetector, or electrically within the signal system, and correlated with observed passages. If there is currently no hold bid, detected passages can be ignored while those passages detected during the upright hold bid are documented.
  • the timing of the stop signal provided can be compared directly with the time coding of the license plate. This way results for the viewer again, in a single picture, a clear local-temporal reference for the assessment of a transgression.
  • Figures 8a and 8b show the compilation of the vehicle passage in the context of an external signal by way of example.
  • a rectangle (29) the photo-realistic image (21) is set in a clear temporal relation to the passage.
  • the crossing of the stop line can be set and documented in relation to the time at which the holding request occurs.
  • the detailed passport documentation together with the provision of a speed profile can in particular also be used to determine whether a vehicle driver has committed the transgression with constant, ascending or descending speed. This is a very important indicator of whether road users have not or too late perceived the holding requirement due to distraction, or whether a breach of the Holding Bid was deliberately committed.
  • the proposed measuring system is to function, for example, as the data source of a dynamic traffic control, it may be advantageous not to forward individual detections, but to interpret a plurality of passages together. Accordingly, it may be useful, for example, to generate a traffic jam message only if a repeated stop of passing vehicles was detected within a predetermined observation period.
  • the measurement result can be displayed, for example, in the text area (20) of the result image or output as a separate result message.

Abstract

The invention relates to a method for detection of the stopping process of vehicles wherein according to the invention, a camera takes pictures of passing vehicles in a cyclical manner from a viewing angle oblique to the driving direction, an evaluation unit accepts these pictures, said evaluation unit segments structural elements in the pictures belonging to the license plate, within a defined observation range, observes the position of at least one unambiguously localized structure element of the license plate in the picture and based on the presence of cluster values of the at least one structure element, detects the stopping of the vehicle in at least one position in the observation range in sequential measuring cycles.

Description

Verfahren zur Detektion des Anhaltevorgangs von Fahrzeugen Method for detecting the stopping of vehicles
Die Erfindung betrifft ein Verfahren zur Detektion des Anhaltevorgangs von Fahrzeugen.The invention relates to a method for detecting the stopping of vehicles.
Weiters betrifft die Erfindung eine Vorrichtung zur Detektion des Anhaltevorgangs von Fahrzeugen, umfassend eine Kamera, welche aus einem Blickwinkel schräg zur Fahrtrichtung zyklisch Bilder von passierenden Fahrzeugen erfasst, sowie eine Auswerteeinheit, welche diese Bilder übernimmt.Furthermore, the invention relates to a device for detecting the stopping of vehicles, comprising a camera which cyclically detects images of passing vehicles obliquely to the direction of travel from an angle of view, as well as an evaluation unit which takes over these images.
Die Einhaltung des Haltegebots ist eine maßgebliche Grundlage zur Vermeidung von Unfällen und gefährlichen Situationen im Straßenverkehr. Die Vorgabe des Haltegebots erfolgt üblicherweise entweder statisch z.B. mittels Stopp-Tafel und einer Haltelinie oder zeitabhängig z.B. mittels eines Ampelzustands „Rot".Compliance with the Holding Bid is an essential basis for avoiding accidents and dangerous situations in traffic. The specification of the holding bid is usually either static, e.g. by means of a stop table and a stop line or time-dependent, e.g. by means of a traffic light state "red".
Die Überprüfung des ordnungsgemäßen Anhaltens erfolgt heute vorwiegend manuell, also durch Beobachtung und subjektive Interpretation durch autorisierte Sicherheitsbedienstete Personen.Today, the check for proper stopping is predominantly manual, ie through observation and subjective interpretation by authorized security personnel.
Weiters stellen statistische Untersuchungen über das Passageverhalten an besonders gefährlichen Kreuzungsbereichen einen wichtigen Baustein für die Analyse von Gefährdungspotenzialen dar. Derartige Analysen werden derzeit nur stichprobenartig und üblicherweise durch Aufzeichnung und weitestgehend manuelle Auswertung von Videosequenzen vorgenommen.Furthermore, statistical studies on the passage behavior at particularly dangerous intersections represent an important building block for the analysis of potential hazards. Such analyzes are currently carried out only on a random basis and usually by recording and largely manual evaluation of video sequences.
Auch abseits von Kreuzungen und Haltegeboten ist die Erkennung von vorübergehendem Anhalten von Fahrzeugen zum Beispiel in staugefährdeten Zonen hilfreich. Mit der Detektion des Vorliegens von „Stop&Go-Verkehr" kann ein wertvoller Parameter zur Beurteilung des Verkehrsgeschehens zum Beispiel für eine dynamische Verkehrssteuerung zur Verfügung gestellt werden.Away from intersections and stops, the detection of temporary stops of vehicles, for example in congestion-prone areas is helpful. With the detection of the existence of "stop & go traffic", a valuable parameter for the assessment of the traffic situation can be provided, for example for a dynamic traffic control.
Automatisierte Verfahren beruhen auf bekannten Verfahren der Geschwindigkeitsmessung (typisch Radar, Laser), wobei die Unterschreitung einer gemessenen Mindestgeschwindigkeit als „Anhalten" bewertet wird.Automated methods are based on known methods of speed measurement (typically radar, laser), wherein the undershooting of a measured minimum speed is rated as "stopping".
Zur automatischen Bewertung des Verkehrsflusses kommen heute auch bildgebende Messverfahren zum Einsatz, die mittels bekannter Verfahren der Bildfolgeanalyse Fahrzeuge als Vordergrundobjekte erkennen und Bewegungstrajektorien aus diesen Vordergrundobjekten ableiten. Durch wechselnde Licht- und Schattenverhältnisse, Abschattungen durch benachbarte Fahrzeuge, widrige Witterungsbedingungen und Mehrdeutigkeiten im Bild kommt es bei solchen bildgebenden Messverfahren oftmals zu maßgeblichen Einbußen in der Messgenauigkeit sowie zu Tracking-Fehlern. Soll eine automatisch detektierte Übertretung auch geahndet werden, so muss anhand von mindestens einer geeigneten Kamera der Vorgang dokumentiert und das Kraftfahrzeugkennzeichen (in weiterer Folge kurz „Kennzeichen") des Fahrzeuges aufgezeichnet werden.For the automatic evaluation of the traffic flow today also imaging measurement methods are used, which recognize vehicles by means of known methods of image sequence analysis as foreground objects and derived movement trajectories from these foreground objects. Through changing light and shadow conditions, shadowing by neighboring Vehicles, adverse weather conditions and ambiguities in the image often result in such imaging measuring methods to significant losses in measurement accuracy and tracking errors. If an automatically detected violation is also to be punished, the process must be documented on the basis of at least one suitable camera and the vehicle registration number (hereinafter referred to as "number plate") of the vehicle must be recorded.
Ein weiteres bekanntes System vermeidet die zuvor beschriebenen technischen Nachteile der Verfolgung allgemeiner Fahrzeugkonturen, indem Auswerteergebnisse einer Kennzeichenlesung dazu genutzt werden, anhand einer zyklusbezogenen Lokalisierung und der Verfolgung des Zulassungskennzeichens über den gesamten Beobachtungsbereich eine Passageerkennung vorzunehmen (WO 2007107875A2). Das genannte System basiert auf stereoskopischen Messverfahren und erfordert entsprechende Kalibriervorgänge und hinreichend starre mechanische Kopplungen zwischen mindestens zwei Kameras.Another known system avoids the technical disadvantages of tracking general vehicle contours described above by using evaluation results of a license plate reading to carry out a passage recognition on the basis of a cycle-related localization and the tracking of the license plate over the entire observation area (WO 2007107875A2). The said system is based on stereoscopic measuring methods and requires appropriate calibration procedures and sufficiently rigid mechanical couplings between at least two cameras.
Ein überwiegender Teil heute bekannter Kamerasysteme zur automatischen Lesung von Kennzeichen wird lediglich dazu verwendet, die Identität von Fahrzeugen anhand ihres Kennzeichens festzustellen. Dabei sind sowohl fremdgetriggerte Systeme, die ein Steuersignal zur Bildaufnahme und/oder -auswertung von einem externen Detektor erhalten (z.B. Kamera bei Geschwindigkeitsüberwachung), als auch freilaufende, zyklisch messende Kamerasysteme, die mittels bekannter Verfahren der Bildverarbeitung selbständig eine Passage erkennen und damit sicherstellen, dass für eine Passage eines Fahrzeuges nur eine Passagemeldung mit dem Auswerteergebnis der Kennzeichenlesung generiert wird.A predominant part of today's known camera systems for the automatic reading of license plates is only used to determine the identity of vehicles based on their license plate. In this case, both foreign-triggered systems, which receive a control signal for image acquisition and / or evaluation of an external detector (eg camera in speed monitoring), and free-running, cyclic measuring camera systems that automatically recognize a passage using known methods of image processing and thus ensure that only one passenger message with the evaluation result of the license plate reading is generated for a passage of a vehicle.
Es ist eine Aufgabe der Erfindung, eine möglichst einfache und kompakte Überwachung bzw. Feststellung des Anhaltens bzw. Nicht-Anhaltens eines Fahrzeuges innerhalb eines definierten Beobachtungsbereiches zu ermöglichen.It is an object of the invention to enable a simple and compact monitoring or determination of the stopping or stopping of a vehicle within a defined observation area.
Diese Aufgabe wird mit einem eingangs erwähnten Verfahren dadurch gelöst, dass erfindungsgemäß eine Kamera aus einem Blickwinkel schräg zur Fahrtrichtung zyklisch Bilder von passierenden Fahrzeugen erfasst, eine Auswerteeinheit diese Bilder übernimmt, diese Auswerteeinheit in den Bildern Strukturelemente, die dem Kennzeichen zugehörig sind, segmentiert, innerhalb eines definierten Beobachtungsbereiches zyklusübergreifend die Position von mindestens einem eindeutig lokalisierten Strukturelement der Kennzeichentafel im Bild beobachtet und anhand des Vorliegens von Häufungswerten des zumindest einen Strukturelements an zumindest einer Position in dem Beobachtungsbereich in aufeinanderfolgenden Messzyklen das Anhalten des Fahrzeuges detektiert. Weiters wird diese Aufgabe mit einer eingangs erwähnten Vorrichtung gelöst, bei welcher erfindungsgemäß die Auswerteeinheit dazu eingerichtet ist, in den Bildern Strukturelemente, die dem Kennzeichen zugehörig sind, zu segmentieren, weiters innerhalb eines definierten Beobachtungsbereiches zyklusübergreifend die Position von mindestens einem eindeutig lokalisierten Strukturelement der Kennzeichentafel im Bild zu beobachten und anhand des Vorliegens von Häufungswerten des zumindest einen Strukturelements an zumindest einer Position in dem Beobachtungsbereich in aufeinanderfolgenden Messzyklen das Anhalten des Fahrzeuges zu delektieren.This object is achieved by a method mentioned above in that according to the invention, a camera from an angle obliquely to the direction of cyclic captured images of passing vehicles, an evaluation takes over these images, this evaluation unit in the images structural elements that are the number plate associated, within observes the position of at least one uniquely located structural element of the license plate in the image of a defined observation area and detects the stopping of the vehicle on the basis of the presence of accumulation values of the at least one structural element at at least one position in the observation area in successive measurement cycles. Furthermore, this object is achieved with a device mentioned in the introduction, in which according to the invention the evaluation unit is set up to segment structural elements belonging to the license plate into the images, furthermore within a defined observation area across cycles the position of at least one uniquely located structural element of the license plate in the image and to detect the stopping of the vehicle on the basis of the presence of accumulation values of the at least one structural element at at least one position in the observation area in successive measuring cycles.
Der Beobachtungsbereich kann entweder das gesamte Blickfeld der Kamera umfassen oder als Teilbereich, z.B. durch eine Triggerlinie oder als Teilbereich einer Triggerlinie, durch ein umschreibendes Rechteck oder durch einen Polygonzug innerhalb des Blickfeldes der Kamera definiert sein.The viewing area can either cover the entire field of view of the camera or as a partial area, e.g. be defined by a trigger line or as part of a trigger line, by a circumscribing rectangle or by a polygon within the field of view of the camera.
Bei dem erfindungsgemäßen Verfahren werden mit einer geeignet gewählten Zyklusdauer Bilder erfasst und dabei nicht allgemeine Fahrzeugkonturen, sondern genau jene eindeutigen Strukturelemente des Zulassungskennzeichens verfolgt, die eine präzise und eindeutig nachvollziehbare Bestimmung der Fahrzeugposition möglich macht.In the method according to the invention, images are recorded with a suitably selected cycle duration and not the general vehicle contours, but precisely those unique structural elements of the registration mark are tracked, which makes possible a precise and clearly traceable determination of the vehicle position.
Das entwickelte Verfahren ist dadurch gekennzeichnet, dass bei einem schräg zur optischen Achse der Kamera passierenden Fahrzeug mit Zulassungskennzeichen durch einen verschwindenden Weg unterschied segmentierter Elemente des Kennzeichens über zwei oder mehrere Zyklen das Anhalten eines Fahrzeuges zweifelsfrei festgestellt wird. Umgekehrt kann bei geeigneter Wahl der Mess- und Auswerteparameter aufgrund der Massenträgheit realer Fahrzeuge ein Nicht-Anhalten dann zweifelsfrei festgestellt werden, wenn sich die Position der segmentierten Elemente mit jedem Messzyklus merklich verschoben hat.The developed method is characterized in that in a obliquely to the optical axis of the camera passing vehicle with registration marks by a vanishing difference segmented elements of the plate over two or more cycles, the stopping of a vehicle is determined beyond doubt. Conversely, with a suitable choice of the measurement and evaluation parameters due to the inertia of real vehicles, a non-stop can be determined beyond doubt if the position of the segmented elements has shifted noticeably with each measurement cycle.
Im Gegensatz zu den bekannten Vorgehensweisen und Messverfahren besteht mit der hier dargestellten Erfindung die Möglichkeit, unter Berücksichtigung der Massenträgheit realer Fahrzeuge anhand der ausschließlichen Lokalisierung und Verfolgung geeigneter Strukturelemente des Kennzeichens als eindeutiges Lokalisierungsmerkmal auch ohne besondere Kalibriermaßnahmen an einem Messstandort das Anhalten bzw. das Nicht-Anhalten eines Fahrzeuges als eindeutige Zustandsänderung im zeitlichen Verlauf automatisch und visuell nachvollziehbar festzustellen und Passagen ohne Anhalten in einer als Beweismittel geeigneten Form zu dokumentieren. Das neuartige Verfahren zur Anhaltedetektion hebt sich in Bezug auf die Eindeutigkeit in der Unterscheidung zwischen Anhalten und Nicht-Anhalten, in der besonderen Kompaktheit des Lösungsansatzes, der auf dem Einsatz einer einzigen Kamera beruht, und schließlich auch durch die vorgeschlagene Visualisierungstechnik von Passagen in einem einzigen Ergebnisbild von bisher bekannten Messverfahren zur Bestimmung des Anhaltens von Kraftfahrzeugen deutlich vom bekannten Stand der Technik ab. Anhand der Erfindung besteht zudem auch die Möglichkeit, selbst ohne aufwändige Kalibriervorgänge unmittelbare, qualitative sowie auch quantitative Aussagen über Bewegungsabläufe im Beobachtungsbereich abzuleiten. Detaillierte Bewegungsabläufe, wie z.B. das Zurückschieben von Fahrzeugen oder aber auch das Passieren eines Fahrzeuges in einer falschen Richtung, können automatisch bewertet und dargestellt werden.In contrast to the known procedures and measuring methods, with the invention represented here, it is possible, taking into account the inertia of real vehicles based on the exclusive localization and tracking of suitable structural elements of the license plate as a unique localization feature without special calibration measures at a measurement site stopping or not Stopping a vehicle as a clear change of state over time, automatically and visually verifiable and documenting passages without stopping in a form suitable as evidence. The novel persistence detection technique stands out in terms of uniqueness in the distinction between stopping and not stopping, in the particular compactness of the approach based on the use of a single camera, and finally in the proposed visualization technique of passages in a single one Result image of previously known measuring method for determining the stopping of motor vehicles clearly from the prior art. On the basis of the invention, it is also possible, even without elaborate calibration procedures, to deduce immediate, qualitative as well as quantitative statements about movements in the observation area. Detailed movements, such as pushing back vehicles or even passing a vehicle in the wrong direction, can be automatically evaluated and displayed.
Weiterer Vorteile der Erfindung finden sich in den Unteransprüchen, insbesondere ist es von Vorteil, wenn beispielsweise:Further advantages of the invention can be found in the dependent claims, in particular it is advantageous if, for example:
• das Nicht-Anhalten erkannt wird, wenn nach vollständiger Passage des definierten Beobachtungsbereiches zu keinem Zeitpunkt ein Anhalten detektiert wurde;• the non-stop is detected if no stop has been detected after complete passage of the defined observation area;
• nur die Passage anhaltender Fahrzeuge oder aber nur die Passage nicht-anhaltender Fahrzeuge dokumentiert wird;• only the passage of sustained vehicles or only the passage of non-sustained vehicles is documented;
• zu jeder dokumentierten Passage ein Bild mit Textinformation, einem repräsentativen Bild und mehreren verkleinerten Indexbildern generiert wird;• for each documented passage, a picture is generated with text information, a representative picture and several reduced index pictures;
• zu jeder Passage eine Text-Nachricht mit Angabe des Detektionsergebnisses generiert wird;• a text message with indication of the detection result is generated for each passage;
• Ergebnisse anonymisiert werden, indem gefundene Kennzeichen im Ergebnisbild ausgeblendet bzw. anonymisiert (z.B. unkenntlich) gemacht werden;• results are made anonymous by making found marks in the result image hidden or made anonymous (eg unrecognizable);
• aus bekannten realen Dimensionen von Strukturelementen des Kennzeichens und bekannten optischen Abbildungsverhältnissen der Kamera eine räumliche Lage der Kennzeichenposition ermittelt wird, wobei insbesondere eine durchschnittliche Geschwindigkeit aus zwei verschiedenen Messzyklen einer Passage ermittelt wird, indem die Änderung der ermittelten räumlichen Lage in Bezug zur Zeitdifferenz der beiden Messzyklen gesetzt wird; von Vorteil kann es dabei sein, wenn ein zyklusaufgelöster Geschwindigkeitsverlauf durch Berechnung der Durchschnittsgeschwindigkeiten aufeinanderfolgender Messzyklen ermittelt wird;A spatial position of the license plate position is determined from known real dimensions of structural elements of the license plate and known optical imaging ratios of the camera, wherein in particular an average speed of two different measurement cycles of a passage is determined by the change of the determined spatial position with respect to the time difference of the two Measuring cycles is set; It may be advantageous if a cycle-resolved speed curve is calculated by calculating the average speeds successive measuring cycles is determined;
• die Auswerteeinheit zur Dokumentation des zeitlichen Bewegungsablaufes für einzelne Fahrzeugpassagen jeweils ein zeitkodiertes Überlagerungsbild erzeugt, wobei insbesondere zum zeitkodierten Überlagerungsbild eine intensitäts- bzw. farbkodierte Zeitachse mit den Aufnahmezeitpunkten erzeugt wird, und wobei nach vollständiger Passage auf Basis der tatsächlichen Anzahl von Messzyklen eine dynamische Spreizung der Intensitätszuordnung des zeitkodierten Überlagerungsbildes vorgenommen wird, um eine möglichst kontrastreiche Darstellung zu erzielen;• the evaluation unit for documenting the temporal course of motion for individual vehicle passages generates a time-coded overlay image, wherein in particular the time-coded overlay image, an intensity or color-coded time axis is generated with the recording times, and wherein after complete passage based on the actual number of measuring cycles, a dynamic spread the intensity assignment of the time-coded sub-picture image is made in order to achieve a high-contrast representation;
• die Auswerteeinheit zur Dokumentation des zeitlichen Bewegungsablaufes für einzelne Fahrzeugpassagen zur Darstellung einer Häufungsverteilung jeweils ein Summenbild erzeugt, bei dem vor der Erstdetektion eines neuen Fahrzeuges der gesamte Bildbereich mit dem Wert 0 initialisiert wird und mit jedem Messzyklus jene Bildpunkte des Summenbildes inkrementiert, in dem ein im aktuellen Messzyklus nicht verschwindendes Segmentierungsergebnis vorliegt, wobei insbesondere nach vollständiger Passage auf Basis der tatsächlich auftretenden maximalen Häufungswerte eine dynamische Spreizung der Intensitätszuordnung des Überlagerungsbildes vorgenommen wird, um eine möglichst kontrastreiche Darstellung zu erzielen;• the evaluation unit for documenting the temporal course of motion for individual vehicle passages for displaying a clustering each generates a summation image in which prior to the first detection of a new vehicle, the entire image area is initialized with the value 0 and with each measurement cycle those pixels of the summation image increments, in the in the current measuring cycle is not disappearing segmentation result, wherein in particular after complete passage on the basis of the actually occurring maximum accumulation values, a dynamic spread of the intensity assignment of the overlay image is made in order to achieve a high-contrast representation;
• eine automatische Lesung des detektierten Zulassungskennzeichens vorgenommen wird;• an automatic reading of the detected registration mark is made;
• die Passage in Relation zu mindestens einem externen Signal behandelt wird, wobei vorgesehen sein kann, dass der Zeitverlauf des externen Signals über ein Zeitdiagramm der bildhaften Passagedokumentation zugeordnet wird;The passage is treated in relation to at least one external signal, it being possible for the time characteristic of the external signal to be assigned via a time diagram to the pictorial passport documentation;
• eine über einzelne Passagen hinausgehende statistische Beurteilung der Verkehrssituation vorgenommen wird;• a statistical assessment of the traffic situation is carried out beyond individual passages;
• durch Invertierung des Ergebnisbildes eine bei Drucksetzung ressourcenschonendere bzw. besser lesbare bildhafte Dokumentation einer Passage ermöglicht wird;• By inverting the result image, a more resource-friendly or more readable pictorial documentation of a passage is possible when printing;
• anhand der räumlichen Zuordnung des Kennzeichens auch übrige Konturmerkmale an der Fahrzeugfront räumlich zugeordnet werden;• Spatially allocating other contour features on the vehicle front on the basis of the spatial assignment of the license plate;
• durch Extrapolation des Bewegungs- und Geschwindigkeitsverlaufes auch eine räumliche Bewertung übriger Konturmerkmale des Fahrzeuges vorgenommen wird; • anhand der räumlich ermittelten Konturmerkmale des Fahrzeuges die Abmessungen des Fahrzeuges ermittelt werden;• By extrapolation of the course of motion and speed also a spatial evaluation of other contour features of the vehicle is made; • the dimensions of the vehicle are determined on the basis of the spatially determined contour characteristics of the vehicle;
• anhand der räumlich ermittelten Konturmerkmale des Fahrzeuges eine Klassifizierung des Fahrzeuges vorgenommen wird.• Based on the spatially determined contour features of the vehicle, a classification of the vehicle is made.
Im Folgenden ist die Erfindung an Hand der Zeichnung näher dargestellt:In the following the invention with reference to the drawing is shown in more detail:
Figur 1a zeigt ein Beispiel für eine Messanordnung in einer perspektivischen Ansicht,FIG. 1a shows an example of a measuring arrangement in a perspective view,
Figur 1b zeigt ein Beispiel für die Messanordnung in einer Ansicht von oben,FIG. 1b shows an example of the measuring arrangement in a view from above,
Figur 2 zeigt ein Beispiel für die zyklusübergreifende Verfolgung eindeutigerFIG. 2 shows an example of the cross-cycle tracking of unique ones
Konturmerkmale,Contour features,
Figuren 3a-3d zeigen verschiedene Geschwindigkeitsprofile in Relation zur Bilderfassung und - analyse,FIGS. 3a-3d show different velocity profiles in relation to image acquisition and analysis,
Figur 4 stellt die reale Kennzeichengeometrie dem verzerrten Kennzeichenbild gegenüber,FIG. 4 compares the real license plate geometry with the distorted license plate image.
Figuren 5a-5f stellen anhand eines einfachen Segmentierungsergebnisses verschiedeneFIGS. 5a-5f make different based on a simple segmentation result
Möglichkeiten zur Visualisierung von Auswerteergebnissen des Messsystems dar,Possibilities for the visualization of evaluation results of the measuring system,
Figuren 6a-6d zeigen die Visualisierungsmöglichkeiten an einem realen Beispiel,FIGS. 6a-6d show the visualization possibilities on a real example,
Figuren 7a-7d zeigen die Visualisierung von Bewegungsabläufen samt Anhaltevorgang anhand zweier Beispiele, undFIGS. 7a-7d show the visualization of movement processes including the stopping process with reference to two examples, and
Figuren 8a-8b zeigen ein Realisierungsbeispiel für die Berücksichtigung eines externen Zustandes für die zeitliche Bewertung einer Passagesituation.Figures 8a-8b show an implementation example for the consideration of an external state for the temporal evaluation of a passage situation.
Figur 1 zeigt ein Beispiel für eine vorteilhafte Sensoranordnung in zwei Ansichten: eine Kamera (1 ) erfasst von einem passierenden Fahrzeug (2) die Fahrzeugfront einschließlich Kennzeichen (3) innerhalb eines definierten Messbereichs (4). Diese Bilder werden von einer in die Kamera integrierten oder an die Kamera angeschlossenen Auswerteeinheit (5) verarbeitet.FIG. 1 shows an example of an advantageous sensor arrangement in two views: a camera (1) detects the vehicle front, including license plate (3) within a defined measuring range (4), from a passing vehicle (2). These images are processed by an evaluation unit (5) integrated in the camera or connected to the camera.
Durch die Wahl der Blickrichtung (6) der Kamera relativ zur Fahrtrichtung (7) in einem geeigneten nominalen Winkel (8) wird sichergestellt, dass die Bewegung des Fahrzeuges auch zu einer Änderung der Lage, und aufgrund der geänderten Entfernung auch zu einer Änderung der Größe des Kennzeichens im aufgezeichneten Bild führt. Um einen geeigneten Messwinkel zu erzielen, kann die Kamera z.B. auch oberhalb der Fahrspur angeordnet werden. Verändert sich die Lage des Kennzeichens über zwei oder mehrere Messzyklen nicht, so hat das Fahrzeug im Messbereich zweifellos angehalten. Figur 2 zeigt die Detektion eines Kennzeichens (3) zu diskreten Messzeitpunkten (9). Genau aufgrund der Eindeutigkeit des Kennzeichens als Ganzes besteht die Möglichkeit, Trajektorien (10) für geeignet gewählte Konturmerkmale des Zulassungskennzeichens über den gesamten Beobachtungszeitraum sehr genau zu bestimmen.By choosing the direction of view (6) of the camera relative to the direction of travel (7) at a suitable nominal angle (8) it is ensured that the movement of the vehicle also to a change of position, and due to the changed distance also to a change in size of the license plate in the recorded image. In order to achieve a suitable measuring angle, the camera can also be arranged, for example, above the lane. If the position of the license plate does not change over two or more measuring cycles, the vehicle has undoubtedly stopped in the measuring range. FIG. 2 shows the detection of a characteristic (3) at discrete measurement times (9). Precisely because of the uniqueness of the mark as a whole, it is possible to determine trajectories (10) for suitably selected contour features of the registration mark very precisely over the entire observation period.
Für das erfindungsgegenständliche Verfahren, dessen Aufgabe in der sicheren Unterscheidung zwischen Anhalten und Nicht-Anhalten besteht, genügt bereits die Feststellung, dass an jedem aufeinanderfolgenden Messzyklus eine eindeutige Änderung der beobachteten Kennzeichentafelposition vorliegt.For the method according to the invention, the object of which is the reliable distinction between stopping and not stopping, it is already sufficient to establish that there is a clear change in the observed number plate position on each successive measuring cycle.
Umgekehrt genügt die Erkennung der Kennzeichentafel an einer gleichbleibenden Position an zwei aufeinanderfolgenden Messzyklen, um das Anhalten eines Fahrzeuges zweifelsfrei zu erkennen.Conversely, the recognition of the license plate in a constant position on two consecutive measuring cycles sufficient to detect the stopping of a vehicle beyond doubt.
Zur Auslegung des Systems ist es wichtig, die der Auswertung zugrundeliegende Wegdifferenz im erfassten Bild der realen Passagesituation gegenüberzustellen. Unter Weglassung der räumlichen Geschwindigkeitskomponente und der Neigung der Buchstabenhöhe gegen die optische Achse der Kamera lässt sich bei einer bekannten realen Symbolhöhe H nach (11) sehr einfach eine untere Schranke für die Durchschnittsgeschwindigkeit zwischen zwei aufeinander folgenden Messzyklen ermitteln: Mit For the design of the system, it is important to contrast the path difference underlying the evaluation in the captured image of the real passages situation. By omitting the spatial velocity component and the inclination of the letter height against the optical axis of the camera, a lower bound for the average velocity between two successive measuring cycles can be easily determined at a known real symbol height H according to (11)
errechnet sich die Geschwindigkeitskomponente normal zur optischen Achse zuthe velocity component is calculated normal to the optical axis
Vq(tn) = dpjxelΗ I h pjxel I (tn-tn.i).V q (t n) = h I dpjxelΗ pjxel I (t n -t n .i).
Die Symbolhöhe kann dabei entweder a priori bekannt sein, oder aber aus geometrischen Verhältnissen am Standort (z.B. nominale Messdistanz eines Kennzeichens zu einer definierten Triggerlinie) abgeleitet werden.The symbol height can either be known a priori or can be derived from geometrical conditions at the location (for example nominal measurement distance of a mark to a defined trigger line).
Die Figuren 3a - 3d zeigen mögliche reale Geschwindigkeitsverläufe v(t) (12) und Detektionen einer Passage, sowie zeitdiskret ermittelte Geschwindigkeiten normal zur optischen Achse vq(tn) (13). Während Figur 3a, 3b und 3c eine Messung mit hinreichender Abtastrate zeigen, ist in Figur 3d eine zu geringe Abtastrate angesetzt, die im angenommenen Fall zu einer Fehldetektion des Messsystems führt.FIGS. 3a-3d show possible real speed profiles v (t) (12) and detections of a passage, as well as discrete-time determined velocities normal to the optical axis v q (t n ) (13). While FIGS. 3 a, 3 b and 3 c show a measurement with a sufficient sampling rate, in FIG. 3 d a sampling rate that is too low is set, which in the assumed case leads to a misdetection of the measuring system.
In Figur 3a detektiert das Messsystem während des Detektionszeitraumes eine sich stetig reduzierende Geschwindigkeit vq(tn), die monotone Geschwindigkeitsabnahme korrespondiert qualitativ mit der realen Geschwindigkeitsabnahme. vq(tn) ist somit eine korrekte untere Schranke für die reale mittlere Passagegeschwindigkeit im Zeitintervall [tn, tn.ϊ\. Ein Anhalten des Fahrzeuges findet offenbar im gesamten Passageverlauf nicht statt. Das Messsystem interpretiert dem entsprechend korrekt eine Fahrzeugpassage ohne Anhalten.In FIG. 3 a, during the detection period, the measuring system detects a steadily reducing velocity v q (t n ), which corresponds to a monotonous decrease in speed qualitatively with the real speed decrease. v q (t n ) is thus a correct lower bound for the real mean passage velocity in the time interval [t n , t n .ϊ \. A stop of the vehicle apparently does not take place throughout the passage. The measuring system correctly interprets a vehicle passage without stopping.
In Figur 3b hält das Fahrzeug an, das Fahrzeug/Kennzeichen befindet sich zu den Abtastzeitpunkten t2 und t3 an einer identen Position, sodass anhand der Geschwindigkeitskomponente vq(t3) das Anhalten des Fahrzeuges korrekt festgestellt werden kann. Durch die übereinstimmende Position des Fahrzeuges an aufeinanderfolgenden Abtastzeitpunkten treten auch die Strukturelemente des Kennzeichens an aufeinanderfolgenden Messzyklen an einer gleichbleibenden Bildposition wiederholt auf. Der Stillstand des Fahrzeuges ist damit gleichbedeutend mit dem Auftreten von einem charakteristischen Maximum der Häufigkeitsverteilung der Strukturelemente des Kennzeichens an der Halteposition im Bild. Ein dem Strukturelement zugeordneter Häufungswert an einer bestimmten Bildposition kennzeichnet somit das Anhalten des Fahrzeuges, wobei der Häufungswert mit der Anzahl der Messzyklen, an denen das Anhalten des Fahrzeuges vorliegt, korrespondiert.In FIG. 3b, the vehicle stops, the vehicle / license plate is located at an identical position at the sampling times t 2 and t 3 , so that the stopping of the vehicle can be determined correctly on the basis of the speed component v q (t 3 ). Due to the matching position of the vehicle at successive sampling times, the structural elements of the plate also occur repeatedly on successive measuring cycles at a constant image position. The standstill of the vehicle is thus synonymous with the occurrence of a characteristic maximum of the frequency distribution of the structural elements of the plate at the holding position in the picture. An accumulation value assigned to the structure element at a specific image position thus characterizes the stopping of the vehicle, the accumulation value corresponding to the number of measurement cycles in which the vehicle stops.
Das sehr langsame Passieren des Beobachtungsbereiches ohne tatsächliches Anhalten kann durchaus als „sicheres Fahrverhalten" toleriert werden. Figur 3c zeigt ein Beispiel für eine Passage, bei der der Wegunterschied zwischen aufeinanderfolgenden Messzyklen so gering ist, dass das Messsystem ein Anhalten des Fahrzeuges detektiert. Mit vorgegebenen Schwellwerten für die Lagetoleranz eines stillstehenden Objektes aufgrund der Ortsquantisierung und möglicher Vibrationen am Messstandort, sowie aufgrund der gewählten Abtastrate lässt sich eine untere Grenzgeschwindigkeit v%m\n angeben, ab der ein Anhaltevorgang trotz nicht verschwindender Geschwindigkeit detektiert werden kann. Bei vorgegebenen optischen Abbildungsverhältnissen, vorgegebener Perspektive und vorgegebenen Schwellwerten kann somit eine untere Grenzgeschwindigkeit v%mm definiert werden. Diese lässt auf die höchste zulässige Abtastrate schließen, damit Fahrzeuge, die sich mit einer stets höheren Geschwindigkeitskomponente vqιmin durch den Messbereich bewegen, sicher als „Nicht-Anhaltend" bewertet werden.The very slow passage of the observation area without actual stopping can certainly be tolerated as "safe driving behavior." Figure 3c shows an example of a passage in which the path difference between successive measuring cycles is so small that the measuring system detects a stop of the vehicle Thresholds for the positional tolerance of a stationary object due to the spatial quantization and possible vibrations at the measuring location, as well as due to the selected sampling rate, a lower limit speed v % m \ n can be specified, from which a stopping process can be detected despite not disappearing speed. given preset perspective and predetermined thresholds can thus be defined as a lower limit speed v % mm.This suggests the highest permissible sampling rate, so that vehicles, with an ever higher speed co mponente v qιmin move through the measuring range, certainly be rated as "non-Lasting".
Zur Bemessung der unteren Schranke für die Abtastrate muss für das Messsystem andererseits jedenfalls ausgeschlossen werden, dass eine tatsächlich stattgefundene Anhaltung im Beobachtungsbereich nicht erkannt, und vom Messsystem fälschlich eine Übertretung des Haltegebotes angezeigt wird.On the other hand, in order to dimension the lower limit for the sampling rate, it must at least be ruled out for the measuring system that a stop actually occurring in the observation area is not recognized, and the measurement system erroneously displays a violation of the holding order.
Es sei v{t) die reale, zeitabhängige Geschwindigkeit eines Kraftfahrzeuges. Nach demLet v {t) be the real, time-dependent speed of a motor vehicle. After this
2. Newtonschen Gesetz ist die Beschleunigung a{t) als erste Ableitung der Geschwindigkeit a(t)=dv(t) I dt eines Körpers nicht verschwindender Masse m aufgrund einer endlichen Krafteinwirkung Fmax(t) begrenzt: a(t)=Fmβx(t) / m2. Newton's law is the acceleration a {t) as the first derivative of velocity a (t) = dv (t) I dt of a body of non-vanishing mass m due to a finite force F max (t) limited to: a (t) = F mβx (t) / m
Aufgrund dieser Endlichkeit ist die Geschwindigkeit v(f) eines Fahrzeuges eine jedenfalls zeitkontinuierliche physikalische Größe mit entsprechend limitierter positiver wie negativer Änderungsrate.Because of this finiteness, the speed v (f) of a vehicle is at least a time-continuous physical quantity with a correspondingly limited positive and negative rate of change.
Anhand real bewegter Massen, begrenzter Reibungsbeiwerte zwischen Fahrbahnoberfläche und Antriebsrädern, realer Antriebsaggregate und Antriebsstränge lässt sich ein Zeitintervall [fSfOp, tstop+i] definieren, innerhalb dessen eine Beschleunigung aus dem Stillstand zum Zeitpunkt tstop eine nur minimale Positionsverschiebung, die vom Messsystem jedenfalls noch als „Stillstand" interpretiert würde, zur Folge haben kann.Based on real moving masses, limited friction coefficients between road surface and drive wheels, real drive units and drive trains , a time interval [f SfO p, t stop + i] can be defined within which an acceleration from standstill at time t stop results in only a minimal position shift In any case, the measuring system would still be interpreted as a "standstill".
Ein so gefundenes Zeitintervall ist ein wichtiges Auslegungskriterium für die erforderliche Zeitauflösung des erfindungsgegenständlichen Messsystems. Figur 3d zeigt dazu ein Fallbeispiel einer zu niedrig gewählten Abtastrate. Nach dem Abtastzyklus zum Zeitpunkt t2 verringert das Fahrzeug seine Geschwindigkeit bis zum Stillstand und beschleunigt noch vor der nächsten Abtastung zum Zeitpunkt t3. Aus dem Zeitdiagramm ist ersichtlich, dass das Messsystem in dieser Situation fälschlicherweise eine Übertretung detektiert.A time interval thus found is an important design criterion for the required time resolution of the measurement system according to the invention. FIG. 3d shows a case example of a sampling rate that is too low. After the sampling cycle at time t 2 , the vehicle reduces its speed to a stop and accelerates before the next sampling at time t 3 . It can be seen from the timing diagram that the measuring system erroneously detects a violation in this situation.
Sofern reale Dimensionen von segmentierten Strukturen des Kennzeichens bekannt sind, beispielsweise die Höhe H einzelner Symbole, lässt sich bei bekannten Abbildungsverhältnissen neben einer Geschwindigkeitskomponente normal zur optischen Achse auch die Geschwindigkeitskomponente v(t) entlang der optischen Achse durch Ermittlung der Entfernungsänderung zwischen Kamera und Kennzeichen ermitteln. Sieht man zunächst von Verzerrungen und ortsabhängigen Abbildungsfehlern der Optik ab, so kann anhand der Höhe des Symbols im Bildbereich, hpXe{t), (11), und anhand eines subsummierenden globalen optischen Korrekturfaktors kopt eine zeitabhängige Distanz d(t) zwischen Kamera und Kennzeichen berechnet werden: If real dimensions of segmented structures of the license plate are known, for example the height H of individual symbols, the velocity component v (t) along the optical axis can be determined by determining the change in distance between camera and license plate in addition to a velocity component normal to the optical axis , If we first consider distortions and location-dependent aberrations of the optics, we can use the height of the symbol in the image area, hp Xe {t), (11), and a subsuming global optical correction factor k opt to determine a time-dependent distance d (t) between the camera and characteristics are calculated:
Somit lässt sich eine Geschwindigkeitskomponente v(tn) parallel zur optischen Achse berechnen: Vι(tn)=kOpf(H/hpiXθι(tn)-H/hpiXθι(tn.1))Thus, a velocity component v (t n ) can be calculated parallel to the optical axis: Vι (t n ) = k O pf (H / hp iXθ 1 (t n ) -H / hpi Xθ 1 (t n . 1 ))
Die resultierende Durchschnittsgeschwindigkeit im Zeitintervall [tn,tn-i] beträgt somit approximativ The resulting average velocity in the time interval [t n , t n -i] is therefore approximate
Um Quantisierungsfehler hintan zu halten, ist es sinnvoll, die Geschwindigkeitsauswertung jeweils auf solche Zeitintervalle zu beziehen, bei denen die Verschiebung cfp/xe, im Bild oberhalb eines geeignet gewählten Schwellwertes liegt.In order to avoid quantization errors, it makes sense to relate the velocity evaluation in each case to those time intervals in which the displacement cf p / xe , in the image is above a suitably selected threshold value.
Um höheren Genauigkeitsansprüchen zu genügen, ist es zudem vorteilhaft, auch die perspektivisch bedingten Verzerrungen zu berücksichtigen. Dazu ist es gemäß Figur 4 sinnvoll, für die Ränder eines Kennzeichens Ausgleichsgeraden (14) im Bild zu ermitteln. Unter Annahme eines ebenen Kennzeichens mit bekannten Abmessungen (15) und (16) lässt sich für das Kennzeichen ein räumliches Objekt-Koordinatensystem (u',v',w') definieren, wobei die Lage der u'- und v'-Achse aus den Ausgleichsgeraden hervorgeht, während die Ebenennormale w' aus dem so gegebenen Achsenpaar ebenso ermittelt werden kann, wie richtungsbezogene Verkürzungsfaktoren für die so festgelegten Raumrichtungen. Anhand dieser Verkürzungsfaktoren kann die reale Entfernung des Kennzeichens aufgrund der Breite und Höhe im Bild und somit auch die Lage des Objektkoordinatensystem in Bezug mit einem zeitinvarianten Kamerakoordinatensystem gesetzt werden.To meet higher accuracy requirements, it is also advantageous to take into account the perspective distortions. For this purpose, it is useful according to Figure 4, to determine for the edges of a plate equalization line (14) in the image. Assuming a flat mark of known dimensions (15) and (16), a spatial object coordinate system (u ', v', w ') can be defined for the mark, the position of the u'- and v'-axes being the straight line of equalization, while the plane normal w 'can be determined from the pair of axes thus given, as well as directional reduction factors for the thus determined spatial directions. On the basis of these shortening factors, the real distance of the mark can be set in relation to a time-invariant camera coordinate system due to the width and height in the image and thus also the position of the object coordinate system.
Demnach besteht mit der Erfindung auch die Möglichkeit, reale Geschwindigkeitsverläufe (12) sowie Durchschnittsgeschwindigkeiten auch unter Berücksichtigung perspektivischer Verzerrungen zu ermitteln: eine Position C(tn) (17) des Kennzeichens kann aus dem Objekt-Koordinatensystem (u'.v'.w1) mittels Koordinatentransformation in ein zeitunabhängiges Kamerakoordinatensystem übergeführt werden: Accordingly, with the invention it is also possible to determine real speed profiles (12) as well as average speeds also taking account of perspective distortions: a position C (t n ) (17) of the code can be obtained from the object coordinate system (u'.v'.w 1 ) are converted by means of coordinate transformation into a time-independent camera coordinate system:
Wird zu zwei Aufnahmezeitpunkten t|< und tm die räumliche DistanzWill at two recording times t | < and t m is the spatial distance
dc(tm,tk)^{{u"cm-u"cι<)2Hv"Cm-V'CkrH w"Cm-w"ckf) zwischen unterschiedlichen Aufnahmezeitpunkten ermittelt, ist somit aus dem ebenen Abbild einesd c (t m , t k ) ^ {{u "cm-u" cι <) 2 Hv " Cm -V ' Ck rH w" Cm -w ck f) is determined between different acquisition times , is thus from the plane image one
Fahrzeugkennzeichens die mittlere Passagegeschwindigkeit ableitbar: vm{tm,tk)Vehicle characteristic the average passage speed can be derived: v m {t m , t k )
^aVg{tm,tk)=dc(tm,tk) I (tm-tk)^ a Vg {t m, k) = d t c (t m, t k) I (t m -t k)
Dabei ergibt sich der Geschwindigkeitsvektor unmittelbar aus den der Auswertung zugrundeliegenden Lageverschiebungen der Kennzeichenposition C(t).In this case, the velocity vector results directly from the positional shifts of the characteristic position C (t) on which the evaluation is based.
Wird diese Geschwindigkeit beispielsweise für hinreichend viele, geeignet gewählte Messzyklen errechnet, so lässt sich aufgrund der zuvor angestellten Überlegungen hinsichtlich erforderlicher Abtastrate und Massenträgheit ein quasikontinuierliches Geschwindigkeitsprofil für den gesamten Beobachtungsbereich ableiten.If this speed is calculated, for example, for a sufficiently large number of suitably selected measuring cycles, a quasicontinuous velocity profile for the entire process can be determined on the basis of the considerations previously made with regard to the required sampling rate and mass inertia Derive observation area.
Die Verortung der Kennzeichenposition im Kamerakoordinatensystem eröffnet nun auch die Möglichkeit, einen räumlichen Kontext für weitere Objektbereiche der Fahrzeugfront herzustellen, dies insbesondere in Verbindung mit dem zyklusübergreifend feststellbaren Geschwindigkeitsvektor. Dies bedeutet in weiterer Folge auch, dass auch übrige Fahrzeugmerkmale an der Fahrzeugfront räumlich interpretiert, und damit Abmessungen des Fahrzeuges ermittelt werden können.The location of the license plate position in the camera coordinate system now also opens up the possibility of establishing a spatial context for further vehicle front object areas, in particular in conjunction with the speed vector detectable across the cycle. This also means that other vehicle features on the front of the vehicle are interpreted spatially, and thus dimensions of the vehicle can be determined.
Eine wichtige Konsequenz daraus ist die Möglichkeit, das Messsystem gleichzeitig auch zur geometrischen Vermessung passierender Fahrzeuge und in weiterer Folge zur Klassifizierung von Fahrzeugen heranzuziehen.An important consequence of this is the possibility of simultaneously using the measuring system also for the geometrical measurement of passing vehicles and subsequently for the classification of vehicles.
Anhand realistischer Annahmen für Geschwindigkeitsverlauf und räumlicher Zuordnung auf Basis des Bewegungsablaufes an der Fahrzeugfront können bei geeigneter Auslegung des Kamerasystems auch verbleibende Fahrzeugbereiche räumlich interpretiert werden, sodass auf diesem Wege z.B. auch eine Bewertung der Fahrzeuglänge sowie der Bauhöhe im hinteren Bereich des Fahrzeuges möglich wird.Based on realistic assumptions for speed course and spatial assignment based on the motion sequence at the front of the vehicle and a suitable design of the camera system also remaining vehicle areas can be interpreted spatially, so in this way, for example. An evaluation of the vehicle length and the height in the rear of the vehicle is possible.
Mit Zugrundelegung des Kennzeichens als Bewertungskriterium für den Bewegungszustand eines Fahrzeuges ergeben sich auch besonders vorteilhafte Visualisierungsmöglichkeiten. Da sich Symbole auf Kennzeichentafeln in definierter Weise mit Hintergrundbereichen abwechseln, können Überlagerungsbilder erzeugt werden, in denen ein auch für das menschliche Auge klar nachvollziehbarer Bewegungsablauf in einem einzigen Ergebnisbild dargestellt werden kann. So kann durch ein Überlagerungsbild aus der zeitabhängigen Helligkeits- oder Farbkodierung unterschiedlicher Aufnahmezeitpunkte der Bewegungsablauf veranschaulicht werden.On the basis of the indicator as an evaluation criterion for the state of motion of a vehicle also results in particularly advantageous visualization options. Since symbols on license plates alternate in a defined manner with background areas, overlay images can be generated in which a sequence of movements that is also clearly visible to the human eye can be displayed in a single result image. Thus, the motion sequence can be illustrated by an overlay image from the time-dependent brightness or color coding of different recording times.
Figur 5a definiert zur Veranschaulichung vorteilhafter Visualisierungstechniken ein Bildkoordinatensystem. Figur 4b zeigt im Bildkoordinatensystem ein segmentiertes Symbol zu unterschiedlichen Aufnahmezeitpunkten.FIG. 5a defines an image coordinate system to illustrate advantageous visualization techniques. FIG. 4b shows a segmented symbol in the image coordinate system at different acquisition times.
Durch Überlagerung der Segmentierungsergebnisse in einem Ergebnisbild gemäß Figur 5c kann die Vereinigungsmenge der Symbole über den Beobachtungszeitraum dargestellt werden. Aus dieser Darstellung geht jedoch weder der Zeitpunkt noch die Häufigkeitsverteilung der zugrundeliegenden Segmentierungsergebnisse hervor.By superposition of the segmentation results in a result image according to FIG. 5 c, the union of the symbols over the observation period can be represented. However, neither the timing nor the frequency distribution of the underlying segmentation results is evident from this representation.
Figur 5d zeigt das Prinzip einer zeitkodierten Darstellung. Bei dieser werden vor Detektionsbeginn alle Bildpunkte des Ergebnisbildes mit O initialisiert. Mit jedem Detektionszyklus zu den Zeitpunkten t„ werden im Ergebnisbild allen segmentierten Bildpunkten die Intensitätswerte n+λ zugeordnet. Damit besteht die Möglichkeit, den Bewegungsablauf anhand des Segmentierungsergebnisses im zeitlichen Kontext darzustellen. Bei Zonen niedrigerer Passagegeschwindigkeit liegen Segmentierungsergebnisse desselben Strukturelements knapp beieinander, es verändert sich damit die Intensität über den Ort im Ergebnisbild rasch. Bei Stillstand sind die Segmentierungsergebnisse desselben Strukturelements im Wesentlichen deckungsgleich, der Intensitätsverlauf ändert sich sprunghaft.FIG. 5d shows the principle of a time-coded representation. At this will be before detection all pixels of the result image are initialized with O. With each detection cycle at the times t ", the intensity values n + λ are assigned to all segmented pixels in the result image. This makes it possible to present the sequence of movement based on the segmentation result in a temporal context. For zones of lower passage speed, segmentation results of the same structural element are close to each other, so that the intensity changes rapidly over the location in the result image. At standstill, the segmentation results of the same structural element are substantially congruent, the intensity profile changes abruptly.
Um eine möglichst kontrastreiche Darstellung zu erzielen, kann gemäß Figur 5f der Zeitverlauf auf Basis der real vorkommenden Intensitätswerte lOrg(x,y), also auf Basis der Anzahl der Messzyklen für die Passage, über eine geeignete Zuordnungsvorschrift innerhalb des darstellbaren Intensitätsbereiches (17) im Ergebnisbild /res(x,y) zugewiesen werden. Zur weiteren Verbesserung der Lesbarkeit kann auf das Ergebnisbild lres in weiterer Folge auch das bekannte Prinzip der Falschfarbendarstellung angewendet werden.According to FIG. 5f, in order to achieve a representation with as much contrast as possible, the time profile can be determined on the basis of the actually occurring intensity values l.sub.Org (x, y), ie on the basis of the number of measurement cycles for the passage, via a suitable assignment rule within the representable intensity range (17 ) in the result image / res (x, y). To further improve readability, the well-known principle of false-color representation can subsequently be applied to the result image l res .
Figur 5e zeigt eine Darstellung in häufigkeitskodierter Form. Sofern sich die Symbole bei entsprechend geringer Passagegeschwindigkeit überlappen, vermittelt ein solches Überlagerungsbild einen besonders deutlichen Eindruck über Geschwindigkeitsänderungen und Anhalten. Auch bei dieser Darstellungsform wird das gesamte Ergebnisbild vor Detektionsbeginn mit O-Werten initialisiert. In weiterer Folge werden in jedem Messzyklus alle Bildpunkte zu aktuell segmentierten Bereichen im Ergebnisbild inkrementiert. Insbesondere werden in solchen Bildern somit jene Tafelpositionen klar hervorgehoben, an denen eine Anhaltung des Fahrzeuges stattgefunden hat.FIG. 5e shows a representation in frequency-coded form. If the symbols overlap at a correspondingly low passage speed, such an overlay image gives a particularly clear impression of speed changes and stopping. In this form of presentation as well, the entire result image is initialized with O values before the start of detection. Subsequently, in each measurement cycle, all pixels are incremented to currently segmented regions in the result image. In particular, in those pictures, therefore, those panel positions in which the vehicle has been stopped are clearly highlighted.
Um eine möglichst kontrastreiche Darstellung zu erzielen, kann das häufigkeitskodierte Bild gemäß Figur 5f auf Basis der real vorkommenden Häufungswerte lorg(x,y) über eine geeignete Zuordnungsvorschrift innerhalb des darstellbaren Intensitätsbereiches im Ergebnisbild /res(x>y) zugewiesen werden. Zur weiteren Verbesserung der Lesbarkeit kann auf das Ergebnisbild lres in weiterer Folge auch das bekannte Prinzip der Falschfarbendarstellung angewendet werden. Da die zeitkodierte Visualisierung als Kodierung der Trajektorien, und die Häufigkeitskodierung mit der deutlichen Hervorhebung unbewegter Segmentierungsbereiche wesentliche Eindrücke für eine subjektive Interpretation liefert, ist eine kombinierte Anwendung verschiedener Visualisierungstechniken besonders vorteilhaft.In order to achieve a representation with as much contrast as possible, the frequency-coded image according to FIG. 5f can be assigned on the basis of the actually occurring accumulation values l or g (x, y) via a suitable assignment rule within the representable intensity range in the result image / res (x > y). To further improve readability, the well-known principle of false-color representation can subsequently be applied to the result image l res . Since the time-coded visualization as coding of the trajectories, and the frequency coding with the clear emphasis of stationary segmentation areas provides essential impressions for a subjective interpretation, a combined application of different visualization techniques is particularly advantageous.
Die Figuren 6a-6d zeigen eine kombinierte Visualisierung von fotorealistischer Darstellung und den vorgeschlagenen Überlagerungsbildern an einem Realbeispiel. In Figur 6a ist eine Häufigkeitskodierung mit nicht überlappenden Segmentierungsbereichen dargestellt. Eine Legende (18) stellt den Bezug zwischen Häufigkeit p(x,y) und Intensitätswert bzw. Falschfarbe dar.Figures 6a-6d show a combined visualization of photorealistic representation and the proposed overlay images on a real example. FIG. 6a shows a frequency coding with non-overlapping segmentation regions. A legend (18) represents the relation between frequency p (x, y) and intensity value or false color.
Figur 6b zeigt dieselben Segmentierungsbereiche in zeitkodierter Darstellung. Die Zeitinformation wird dabei in einer Legende (19) dem Bild zugeordnet.FIG. 6b shows the same segmentation regions in time-coded representation. The time information is assigned to the image in a legend (19).
Figur 6c zeigt ein Gesamtbild, das einige besondere Vorzüge der vorliegenden Erfindung veranschaulicht: In einem Textfeld (20) sind relevante Daten zur Passage dokumentiert. Ein fotorealistisches Bild (21) mit Einblendung der definierten Triggerlinie (22) stellt einen eindeutigen Bezug zwischen der Lage des Kennzeichens und der Lage einer realen Haltelinie her. Zusätzlich kann in verkleinerten Indexbildern (23) der Passagevorgang mit Zeitinformationen fotorealistisch wiedergegeben werden. Eine Farbzuordnungstabelle (24) zeigt die Zuordnung zwischen Intensitätswerten und Repräsentation in den Bildbereichen (21) und (23). Im Gegensatz zu den Figuren 6a und 6b sind die Überlagerungsbilder (25) und (26) im realen Zusammenstellungsbild dunkel hinterlegt. Alternativ zur Normaldarstellung zeigt Figur 6d eine für Drucklegung besser geeignete inverse Darstellung des Gesamtbildes von Figur 6c.Figure 6c shows an overall picture illustrating some of the particular advantages of the present invention: In a text box (20), relevant data for the passage is documented. A photorealistic image (21) with the insertion of the defined trigger line (22) establishes a clear relationship between the position of the mark and the position of a real stop line. In addition, in reduced index images (23), the passage process with time information can be reproduced photorealistically. A color mapping table (24) shows the association between intensity values and representation in image areas (21) and (23). In contrast to FIGS. 6a and 6b, the overlay images (25) and (26) are highlighted in the real composition image. As an alternative to the normal representation, FIG. 6d shows an inverse representation of the overall image of FIG. 6c that is more suitable for printing.
Die Figuren 7a-7d zeigen zwei Passagen, bei denen das Fahrzeug innerhalb des Beobachtungsbereiches anhält. Figuren 7a und 7b zeigen dieselbe Passage in normaler und inverser Darstellung, wobei das Fahrzeug im Messbereich genau einmal anhält (27). Ein weiterer Vorteil der Erfindung besteht gemäß Figur 7c und 7d auch darin, dass sowohl das Verfahren als auch das daraus ableitbare Bildmaterial eine unmittelbare Interpretation von mehrfachen Geschwindigkeitsänderungen und Anhalte-Vorgängen (28) sowie eine Ermittlung auch zeitabhängiger Fahrtrichtungen erlauben.Figures 7a-7d show two passages where the vehicle stops within the observation area. FIGS. 7a and 7b show the same passage in normal and inverse representation, wherein the vehicle stops exactly once in the measuring range (27). A further advantage of the invention according to FIGS. 7c and 7d is also that both the method and the image material derivable therefrom allow a direct interpretation of multiple speed changes and stopping processes (28) as well as a determination of time-dependent directions of travel.
Haltegebote sind in vielen Fällen nicht zeitunabhängig. Soll dem Messsystem ein zeitabhängiges Haltegebot, z.B. an geregelten Kreuzungen zugrunde gelegt werden, so kann das Signal, das das Haltegebot im Messbereich anzeigt, entweder optisch mittels einer weiteren Kamera oder mittels eines Fotodetektors oder aber elektrisch innerhalb der Signalanlage abgetastet und mit beobachteten Passagen in Beziehung gebracht werden. Liegt aktuell kein Haltegebot vor, so können detektierte Passagen ignoriert werden, während jene Passagen, die während des aufrechten Haltegebotes detektiert werden, dokumentiert werden.Keeping bids are not time-independent in many cases. If the measuring system is to have a time-dependent holding requirement, e.g. At controlled intersections, the signal indicative of the hold in the measurement range can be scanned either optically by means of another camera or by means of a photodetector, or electrically within the signal system, and correlated with observed passages. If there is currently no hold bid, detected passages can be ignored while those passages detected during the upright hold bid are documented.
Dazu kann der zeitliche Ablauf des bereitgestellten Haltesignals direkt der Zeitkodierung der Kennzeichentafel gegenübergestellt werden. Auf diese Weise ergibt sich für den Betrachter wiederum in einem einzigen Bild ein klarer örtlich-zeitlicher Bezug für die Beurteilung einer Übertretung.For this purpose, the timing of the stop signal provided can be compared directly with the time coding of the license plate. This way results for the viewer again, in a single picture, a clear local-temporal reference for the assessment of a transgression.
Figuren 8a und 8b zeigen die Zusammenstellung der Fahrzeugpassage im Kontext mit einem externen Signal an einem Beispiel. Durch ein Rechteck (29) wird das fotorealistische Bild (21) in einen eindeutigen zeitlichen Bezug zum Passageverlauf gesetzt. Durch Eintragung des Schaltzustandes des Rot-Signals (30) kann das Überfahren der Haltelinie in Bezug auf den Zeitpunkt des Eintretens des Haltegebotes gesetzt und dokumentiert werden.Figures 8a and 8b show the compilation of the vehicle passage in the context of an external signal by way of example. By a rectangle (29), the photo-realistic image (21) is set in a clear temporal relation to the passage. By entering the switching state of the red signal (30), the crossing of the stop line can be set and documented in relation to the time at which the holding request occurs.
Durch die ausführliche Passagedokumentation samt Bereitstellung eines Geschwindigkeitsprofils kann insbesondere auch ermittelt werden, ob ein Fahrzeuglenker die Übertretung mit konstanter, aufsteigender oder absteigender Geschwindigkeit begangen hat. Es ist dies ein sehr wesentlicher Indikator dafür, ob Verkehrsteilnehmer wegen Ablenkung das Haltegebot nicht oder zu spät wahrgenommen haben, oder ob eine Übertretung des Haltegebots bewusst begangen wurde.The detailed passport documentation together with the provision of a speed profile can in particular also be used to determine whether a vehicle driver has committed the transgression with constant, ascending or descending speed. This is a very important indicator of whether road users have not or too late perceived the holding requirement due to distraction, or whether a breach of the Holding Bid was deliberately committed.
Für viele Anwendungen ist es wichtig, dass Bildmaterial und Messergebnisse in geeigneter Weise anonymisiert werden. Da das Messprinzip auf der Lokalisierung des Zulassungskennzeichens beruht, besteht die Möglichkeit, im fotorealistischen Bild das Kennzeichen (3) zu verschlüsseln, durch neutrale Platzhalter zu ersetzen oder gänzlich auszublenden. In entsprechender Weise kann bei der Erzeugung der Überlagerungsbilder ein Platzhalter definiert werden, der statt der ursprünglichen Segmentierungsbereiche bei der Generierung der Überlagerungsbilder eingesetzt wird.For many applications, it is important that image material and measurement results are suitably anonymized. Since the measuring principle is based on the location of the approval mark, it is possible to encode the license plate (3) in the photorealistic image, to replace it with neutral placeholders or to hide it altogether. In a corresponding manner, when creating the overlay images, a placeholder can be defined which is used instead of the original segmentation regions in the generation of the overlay images.
Soll das vorgeschlagene Messsystem zum Beispiel als Datenquelle einer dynamischen Verkehrssteuerung fungieren, kann es vorteilhaft sein, nicht individuelle Detektionen weiterzuleiten, sondern eine Mehrzahl von Passagen zusammenfassend zu interpretieren. Dem entsprechend kann es beispielsweise sinnvoll sein, eine Stau-Meldung erst dann zu generieren, wenn innerhalb eines vorgegebenen Beobachtungszeitraumes ein wiederholtes Anhalten passierender Fahrzeuge erkannt wurde.If the proposed measuring system is to function, for example, as the data source of a dynamic traffic control, it may be advantageous not to forward individual detections, but to interpret a plurality of passages together. Accordingly, it may be useful, for example, to generate a traffic jam message only if a repeated stop of passing vehicles was detected within a predetermined observation period.
Mit der Tatsache, dass die Lokalisierung von Strukturelementen des Kennzeichens eine wesentliche Grundlage der Messtechnik bildet, ist es naheliegend, das Detektionssystem mit Funktionalität zur automatischen Kennzeichenlesung auszustatten. Das Messergebnis kann beispielsweise im Textbereich (20) des Ergebnisbildes eingeblendet werden oder aber als eigene Ergebnisnachricht ausgegeben werden. With the fact that the localization of structural elements of the license plate forms an essential basis of the measurement technique, it is obvious to equip the detection system with automatic license plate reading functionality. The measurement result can be displayed, for example, in the text area (20) of the result image or output as a separate result message.

Claims

Patentansprüche claims
1. Verfahren zur Detektion des Anhaltevorgangs von Fahrzeugen, dadurch gekennzeichnet, dass eine Kamera aus einem Blickwinkel schräg zur Fahrtrichtung zyklisch Bilder von passierenden Fahrzeugen erfasst, eine Auswerteeinheit diese Bilder übernimmt, diese Auswerteeinheit in den Bildern Strukturelemente, die dem Kennzeichen zugehörig sind, segmentiert, innerhalb eines definierten Beobachtungsbereiches zyklusübergreifend die Position von mindestens einem eindeutig lokalisierten Strukturelement der Kennzeichentafel im Bild beobachtet und anhand des Vorliegens von Häufungswerten des zumindest einen Strukturelements an zumindest einer Position in dem Beobachtungsbereich in aufeinanderfolgenden Messzyklen das Anhalten des Fahrzeuges detektiert.1. A method for detecting the stopping of vehicles, characterized in that a camera from a viewing angle obliquely to the direction cyclically captured images of passing vehicles, an evaluation takes over these images, this evaluation unit in the images structural elements that are associated with the number plate segmented, observes the position of at least one uniquely located structural element of the license plate in the image across a defined observation area and detects the stopping of the vehicle on the basis of the presence of accumulation values of the at least one structural element at at least one position in the observation area in successive measurement cycles.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Nicht-Anhalten erkannt wird, wenn nach vollständiger Passage des definierten Beobachtungsbereiches zu keinem Zeitpunkt ein Anhalten detektiert wurde.2. The method according to claim 1, characterized in that the non-stop is detected if, after complete passage of the defined observation area at any time a stop was detected.
3. Verfahren nach 1 oder 2, dadurch gekennzeichnet, dass nur die Passage anhaltender Fahrzeuge oder aber nur die Passage nicht-anhaltender Fahrzeuge dokumentiert wird.3. The method according to 1 or 2, characterized in that only the passage of sustained vehicles or only the passage of non-persistent vehicles is documented.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass zu jeder dokumentierten Passage ein Bild mit Textinformation, einem repräsentativen Bild und mehreren verkleinerten Indexbildern generiert wird.4. The method according to any one of claims 1 to 3, characterized in that for each documented passage an image with text information, a representative image and a plurality of reduced index images is generated.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass zu jeder Passage eine Text-Nachricht mit Angabe des Detektionsergebnisses generiert wird.5. The method according to any one of claims 1 to 4, characterized in that for each passage a text message with indication of the detection result is generated.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass Ergebnisbilder anonymisiert werden, indem gefundene Kennzeichen im Ergebnisbild ausgeblendet bzw. unkenntlich gemacht werden.6. The method according to any one of claims 1 to 5, characterized in that result images are anonymized by hidden found in the result image or made unrecognizable.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass aus bekannten realen Dimensionen von Strukturelementen des Kennzeichens und bekannten optischen Abbildungsverhältnissen der Kamera eine räumliche Lage der Kennzeichenposition ermittelt wird.7. The method according to any one of claims 1 to 6, characterized in that a spatial position of the license plate position is determined from known real dimensions of structural elements of the license plate and known optical imaging ratios of the camera.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass eine durchschnittliche Geschwindigkeit aus zwei verschiedenen Messzyklen einer Passage ermittelt wird, indem die Änderung der ermittelten räumlichen Lage in Bezug zur Zeitdifferenz der beiden Messzyklen gesetzt wird.8. The method according to claim 7, characterized in that an average speed of two different measuring cycles of a passage is determined by the Change of the determined spatial position in relation to the time difference of the two measuring cycles is set.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass ein zyklusaufgelöster Geschwindigkeitsverlauf durch Berechnung der Durchschnittsgeschwindigkeiten aufeinanderfolgender Messzyklen ermittelt wird.9. The method according to claim 8, characterized in that a cycle-resolved speed profile is determined by calculating the average speeds of successive measuring cycles.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Auswerteeinheit zur Dokumentation des zeitlichen Bewegungsablaufes für einzelne Fahrzeugpassagen jeweils ein zeitkodiertes Überlagerungsbild erzeugt.10. The method according to any one of claims 1 to 9, characterized in that the evaluation unit for the documentation of the temporal movement sequence for individual vehicle passages respectively generates a time-coded overlay image.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass zum zeitkodierten Überlagerungsbild eine intensitäts- bzw farbkodierte Zeitachse mit den Aufnahmezeitpunkten erzeugt wird.11. The method according to claim 10, characterized in that the time-coded overlay image, an intensity or color-coded time axis is generated with the recording times.
12. Verfahren nach Anspruch 10 oder 11 , dadurch gekennzeichnet, dass nach vollständiger Passage auf Basis der tatsächlichen Anzahl von Messzyklen eine dynamische Spreizung der Intensitätszuordnung des zeitkodierten Überlagerungsbildes vorgenommen wird, um eine möglichst kontrastreiche Darstellung zu erzielen.12. The method of claim 10 or 11, characterized in that after complete passage based on the actual number of measurement cycles, a dynamic spread of the intensity assignment of the time-coded sub-picture image is made in order to achieve a high-contrast representation.
13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Auswerteeinheit zur Dokumentation des zeitlichen Bewegungsablaufes für einzelne Fahrzeugpassagen zur Darstellung einer Häufungsverteilung jeweils ein Summenbild erzeugt, bei dem vor der Erstdetektion eines neuen Fahrzeuges der gesamte Bildbereich mit dem Wert 0 initialisiert wird und mit jedem Messzyklus jene Bildpunkte des Summenbildes inkrementiert, in dem ein im aktuellen Messzyklus nicht verschwindendes Segmentierungsergebnis vorliegt.13. The method according to claim 1, characterized in that the evaluation unit for documenting the temporal course of motion for individual vehicle passages for displaying a clustering distribution generates in each case a summation image in which the entire image area is initialized with the value 0 before the first detection of a new vehicle is incremented and with each measuring cycle those pixels of the summation image, in which there is a not in the current measurement cycle segmentation result.
14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass nach vollständiger Passage auf Basis der tatsächlich auftretenden maximalen Häufungswerte eine dynamische Spreizung der Intensitätszuordnung des Überlagerungsbildes vorgenommen wird, um eine möglichst kontrastreiche Darstellung zu erzielen.14. The method according to claim 13, characterized in that after complete passage based on the actually occurring maximum accumulation values, a dynamic spread of the intensity assignment of the overlay image is made in order to achieve a high-contrast representation.
15. Verfahren nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass auch eine automatische Lesung des detektierten Zulassungskennzeichens vorgenommen wird.15. The method according to any one of claims 1 to 14, characterized in that also an automatic reading of the detected registration mark is made.
16. Verfahren nach einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, dass die Passage in Relation zu mindestens einem externen Signal behandelt wird. 16. The method according to any one of claims 1 to 15, characterized in that the passage is treated in relation to at least one external signal.
17. Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass der Zeitverlauf des externen Signals über ein Zeitdiagramm der bildhaften Passagedokumentation zugeordnet wird.17. The method according to claim 16, characterized in that the time characteristic of the external signal is assigned via a time diagram of the pictorial passport documentation.
18. Verfahren nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass eine über einzelne Passagen hinausgehende statistische Beurteilung der Verkehrssituation vorgenommen wird.18. The method according to any one of claims 1 to 17, characterized in that a single pass beyond statistical assessment of the traffic situation is performed.
19. Verfahren nach einem der Ansprüche 3 bis 18 dadurch gekennzeichnet, dass durch Invertierung des Ergebnisbildes eine bei Drucksetzung ressourcenschonendere bzw. besser lesbare bildhafte Dokumentation einer Passage ermöglicht wird.19. The method according to any one of claims 3 to 18, characterized in that by inversion of the result image, a more resource-friendly or more readable pictorial documentation of a passage is made possible when printing.
20. Verfahren nach 6 bis 19, dadurch gekennzeichnet, dass anhand er räumlichen Zuordnung des Kennzeichens auch übrige Konturmerkmale an der Fahrzeugfront räumlich zugeordnet werden.20. The method according to 6 to 19, characterized in that based on spatial assignment of the mark and other contour features are assigned to the vehicle front spatially.
21. Verfahren nach Anspruch 20, dadurch gekennzeichnet, dass durch Extrapolation des Bewegungs- und Geschwindigkeitsverlaufes auch eine räumliche Bewertung übriger Konturmerkmale des Fahrzeuges vorgenommen wird.21. The method according to claim 20, characterized in that by extrapolation of the motion and speed course and a spatial evaluation of other contour features of the vehicle is made.
22. Verfahren nach einem der Ansprüche 19 bis 21 , dadurch gekennzeichnet, dass anhand der räumlich ermittelten Konturmerkmale des Fahrzeuges die Abmessungen des Fahrzeuges ermittelt werden.22. The method according to any one of claims 19 to 21, characterized in that the dimensions of the vehicle are determined based on the spatially determined contour features of the vehicle.
23. Verfahren nach einem der Ansprüche 19 bis 22, dadurch gekennzeichnet, dass anhand der räumlich ermittelten Konturmerkmale des Fahrzeuges eine Klassifizierung des Fahrzeuges vorgenommen wird.23. The method according to any one of claims 19 to 22, characterized in that based on the spatially determined contour features of the vehicle, a classification of the vehicle is made.
24. Vorrichtung zur Detektion des Anhaltevorgangs von Fahrzeugen, umfassend eine Kamera, welche aus einem Blickwinkel schräg zur Fahrtrichtung zyklisch Bilder von passierenden Fahrzeugen erfasst, sowie eine Auswerteeinheit, welche diese Bilder übernimmt, wobei die Auswerteeinheit dazu eingerichtet ist, in den Bildern Strukturelemente, die dem Kennzeichen zugehörig sind, zu segmentieren, weiters innerhalb eines definierten Bedbachtungsbereiches zyklusübergreifend die Position von mindestens einem eindeutig lokalisierten Strukturelement der Kennzeichentafel im Bild zu beobachten und anhand des Vorliegens von Häufungswerten des zumindest einen Strukturelements an zumindest einer Position in dem Beobachtungsbereich in aufeinanderfolgenden Messzyklen das Anhalten des Fahrzeuges zu detektieren. 24. An apparatus for detecting the stopping process of vehicles, comprising a camera which cyclically detects images of passing vehicles at an angle oblique to the direction of travel, and an evaluation unit which takes over these images, wherein the evaluation unit is adapted to display in the images structural elements the flag are associated, further observe within a defined Bedbachtungsbereiches cycle across the position of at least one uniquely located structural element of the license plate in the image and based on the presence of accumulation values of the at least one structural element at least one position in the observation area in successive measurement cycles stopping to detect the vehicle.
25. Vorrichtung nach Anspruch 24, dadurch gekennzeichnet, dass sie zum Durchführen eines Verfahrens nach einem der Ansprüche 2 bis 23 eingerichtet ist. 25. The device according to claim 24, characterized in that it is adapted to perform a method according to one of claims 2 to 23.
EP09774608A 2008-11-14 2009-11-12 Method for detection of the stopping process of vehicles Withdrawn EP2356627A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AT0177308A AT507457B1 (en) 2008-11-14 2008-11-14 METHOD FOR THE AUTOMATIC DETECTION OF THE STOPPING OF MOTOR VEHICLES
PCT/AT2009/000432 WO2010054417A1 (en) 2008-11-14 2009-11-12 Method for detection of the stopping process of vehicles

Publications (1)

Publication Number Publication Date
EP2356627A1 true EP2356627A1 (en) 2011-08-17

Family

ID=42008547

Family Applications (1)

Application Number Title Priority Date Filing Date
EP09774608A Withdrawn EP2356627A1 (en) 2008-11-14 2009-11-12 Method for detection of the stopping process of vehicles

Country Status (3)

Country Link
EP (1) EP2356627A1 (en)
AT (1) AT507457B1 (en)
WO (1) WO2010054417A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2889842A1 (en) * 2013-12-31 2015-07-01 Patents Factory Ltd. Sp. z o.o. A method for estimating dynamics of motion in a video image
CN111178224B (en) * 2019-12-25 2024-04-05 浙江大华技术股份有限公司 Object rule judging method, device, computer equipment and storage medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2854359B2 (en) * 1990-01-24 1999-02-03 富士通株式会社 Image processing system
JP3435623B2 (en) * 1996-05-15 2003-08-11 株式会社日立製作所 Traffic flow monitoring device
JP4800455B2 (en) * 1999-02-19 2011-10-26 富士通株式会社 Vehicle speed measuring method and apparatus
KR100459476B1 (en) * 2002-04-04 2004-12-03 엘지산전 주식회사 Apparatus and method for queue length of vehicle to measure
ITTO20060214A1 (en) 2006-03-22 2007-09-23 Kria S R L VEHICLE DETECTION SYSTEM

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2010054417A1 *

Also Published As

Publication number Publication date
AT507457A1 (en) 2010-05-15
WO2010054417A1 (en) 2010-05-20
AT507457B1 (en) 2011-01-15

Similar Documents

Publication Publication Date Title
EP1192597B1 (en) Method of detecting objects within a wide range of a road vehicle
EP1825276B1 (en) Method and device for determining the speed of a vehicle
WO2013053438A2 (en) Method for integrating virtual objects into vehicle displays
DE102007001649A1 (en) Method, device and computer program for self-calibration of a surveillance camera
DE102009005553A1 (en) Method and device for detecting the environment of a motor vehicle
DE102013210836A1 (en) Detecting a motionless object at intersections of traffic routes
DE102010010912A1 (en) Driver assistance device for vehicle, has sensor unit for detecting object in surrounding of vehicle and display unit for optical representation of detected object by sensor unit to schematic top view of vehicle
EP2249580A1 (en) Method for calibrating the image of a camera
DE102015122172A1 (en) Headlamp based projection of patterns to measure spatial characteristics of a vehicle environment
EP3044727A1 (en) Method and device for detecting objects from depth-resolved image data
DE102009022278A1 (en) Obstruction-free area determining method for drive assistance system in vehicle, involves considering surface-measuring point on ground plane during formation of depth map such that evidence of obstruction-measuring points is reduced
DE102012023060A1 (en) Method for detecting moving object in surrounding region of motor vehicle e.g.passenger car, involves determining vector values within the respective interval values, such movable object is detected based on histogram
DE102013104425B3 (en) Method for recording speed violations with restrictive data storage
DE102010042026A1 (en) Method for producing image of e.g. post in concrete parking bay of ego vehicle, involves installing graphical element in object region to produce image in surrounding from virtual camera position, where region is not visible for sensor
DE102011075674A1 (en) Distance determination by means of a camera sensor
DE102007025147A1 (en) Lane departure warning and/or lane keeping function providing system for motor vehicle i.e. car, has camera aligned perpendicularly downward to road surface and serving for recognition of lane marking provided on road surface
AT507457B1 (en) METHOD FOR THE AUTOMATIC DETECTION OF THE STOPPING OF MOTOR VEHICLES
DE102007041333B4 (en) Non-contact counting system
DE102009052868A1 (en) Method for operating e.g. overrun assistance system of lorry, involves representing image areas on overall image based on image area distance of image area limit to vehicle in two different colors
WO2016096446A1 (en) Foreground-background differentiation in a vehicle
DE102022003366A1 (en) Method and device for determining the distance from a vehicle to a vehicle to an object using a monocular camera
DE102010019146A1 (en) Method for detecting an environment of a vehicle
DE102016118538A1 (en) Method for classifying a traffic sign in a surrounding area of a motor vehicle, computing device, driver assistance system and motor vehicle
DE102015226749A1 (en) monitoring system
DE102018107212A1 (en) A method for detecting a traffic area occupancy detection auxiliary element in a surrounding area of a motor vehicle, computer program product and vehicle guidance system

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20110604

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20130601