DE102013217570A1 - Verfahren zur bekämpfung von stoppschildverletzungen mittels bewegungsvektoren in videoströmen - Google Patents

Verfahren zur bekämpfung von stoppschildverletzungen mittels bewegungsvektoren in videoströmen Download PDF

Info

Publication number
DE102013217570A1
DE102013217570A1 DE201310217570 DE102013217570A DE102013217570A1 DE 102013217570 A1 DE102013217570 A1 DE 102013217570A1 DE 201310217570 DE201310217570 DE 201310217570 DE 102013217570 A DE102013217570 A DE 102013217570A DE 102013217570 A1 DE102013217570 A1 DE 102013217570A1
Authority
DE
Germany
Prior art keywords
vehicle
cluster
images
threshold
motion vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE201310217570
Other languages
English (en)
Inventor
Edgar A. Bernal
Orhan BULAN
Robert P. Loce
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conduent Business Services LLC
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of DE102013217570A1 publication Critical patent/DE102013217570A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Ein Verfahren zur Bekämpfung von Ampelverstößen umfasst die Erfassung einer Reihe zeitlich miteinander verbundener Bilder, die einen Zielbereich enthalten. Jedes Bild enthält Pixeldaten, die den Zielbereich darstellen. Das Verfahren umfasst die Erzeugung eines oder mehrerer Bewegungsvektoren zwischen zwei oder mehr der Bilder. Es handelt sich hierbei um Bewegungsvektoren der Art, die bei der Komprimierung der mit den zwei oder mehr Bildern in Verbindung stehenden Pixeldaten erzeugt werden. Das Verfahren umfasst die Zuordnung eines Clusters aus den Bewegungsvektoren zu einem Fahrzeug. Das Verfahren umfasst ferner die Verfolgung einer Position des Fahrzeugs über zwei oder mehr Videobilder zu verfolgen. Zu dem Verfahren gehört ferner, dass mittels der Verfolgungsergebnisse ermittelt wird, ob das Fahrzeug im Zielbereich hält. Bei erkanntem Nichthalten des Fahrzeugs wird ein Verstoß signalisiert.

Description

  • Die vorliegende Erfindung betrifft ein System und ein Verfahren zur automatisierten Durchsetzung der Straßenverkehrsvorschriften auf Videobasis, die auf der Grundlage von Bewegungsvektordaten, die die in der erfassten Szene ersichtlichen Bewegungen beschreiben, funktionieren. Die vorliegende Erfindung findet bei der Bekämpfung von Stoppsignalverstößen Anwendung. Die Ausführungsformen sind jedoch auch sonstige ähnliche Anwendungen anpassbar.
  • Stoppsignale werden in Bereichen eingeführt, wo einander entgegengesetzte Bewegungen im Straßenverkehr zur Entstehung einer Unfallgefahr führen. Die Einhaltung der Signale wird auf verschiedenerlei Weisen gewährleistet.
  • In einer Technologie wird – wie in 1 gezeigt – eine Induktionsschleife verwendet, die mit der Kamera kommuniziert. Eine erste schleife löst das Vorhandensein eines Fahrzeugs aus; eine zweite erkennt einen Verstoß. Beide Schleifen werden in rascher Folge aktiviert, wenn die Ampel rot wird; zu diesem Zeitpunkt nimmt die Kamera ein Bild der Szene auf. Das Bild wird dem verkehrspolizeilichen Personal als sichtbare Dokumentation eines Verstoßes zur Verfügung gestellt. Weitere Systeme berechnen ferner, ob das Fahrzeug vollständig gehalten hat, indem eine Bilderfolge verarbeitet wird.
  • Herkömmliche Kameras, die zur Überwachung der Verkehrsflüsse und der Einhaltung von Ampeln eingesetzt werden, können eine Vielzahl Überwachungsaufgaben unterstützen. Diese Kameras sind geeignet, die Bilddaten mittels Bildkompression einer dezentralen Kontrollstelle übermittelt.
  • Das Verfahren zur Übermittlung der Bilddaten an die Kontrollstelle ist jedoch ineffizient. Das zugrundeliegende Kommunikationsnetzwerk unterliegt Bandbreitengrenzen, die die Verwendung von Videokompressionsverfahren auf der Kameraseite und vor der Übertragung erforderlich machen. Die komprimierten Daten einer ganzen Videosequenz werden der zentralen Kontrollstelle übermittelt, wo die ganzen Bilddaten entkomprimiert und analysiert werden. Dieses Verfahren zur Ausführung der Videoanalyse am unkomprimierten Video kann zu einer erhöhten Datenverarbeitungslast führen. Eine Reduktion der Rechenzeit und der dazu erforderlichen Ressourcen ist deshalb wünschenswert.
  • Die vorliegende Erfindung ermöglicht eine effizientere Nutzung der Videodaten dadurch, dass in einem überwachten Bereich ein Rechtsverletzer gleichzeitig mit der Kompression der erfassten Bilddaten ermittelt wird.
  • 1 zeigt ein herkömmliches multimodulares Durchsetzungssystem gemäß dem STAND DER TECHNIK.
  • 2 ist ein Überblick des erfindungsgemäßen Systems.
  • 3 ist eine schematische Darstellung eines Durchsetzungssystems gemäß einer Ausführungsform.
  • 4 ist ein Flussdiagramm eins Verfahrens 400 zur Bekämpfung von Ampelverstößen.
  • 5A zeigt ein in einem blockorientierten Ansatz zur Erzeugung von Bewegungsvektoren verwendetes Referenzbild.
  • 5B zeigt ein in einem blockorientierten Ansatz zur Erzeugung von Bewegungsvektoren verwendetes aktuelles Bild.
  • 6A zeigt ein Referenzbild, das in einem Suchfenster einen Referenzblock enthält.
  • 6B zeigt ein aktuelles Bild, das einen Zielblock in einem dem Suchfenster der 6a entsprechenden Bereich enthält.
  • 6C zeigt ein zwischen dem Referenzbild der 6A und dem Zielbild der 6B erzeugtes Bewegungsfeld.
  • 6D zeigt ein vorhergesagtes Bild, das sich aus dem Zusammenspleißen der am besten übereinstimmenden Referenzblöcke ergibt.
  • 7A–7C zeigen einen Standort des definierten Zielbereichs, der in Verbindung mit den für ein aktuelles Bild erzeugten Bewegungsvektoren verwendet wird, um die Erkennung eines Fahrzeugs auszulösen.
  • 8 ist eine schematische Darstellung eines Durchsetzungssystems zur Verarbeitung der komprimierten Daten in einem Serverrechner.
  • Die vorliegende Erfindung betrifft ein System und ein Verfahren zur automatisierten Durchsetzung der Straßenverkehrsvorschriften auf Videobasis. Das System kann innerhalb eines komprimierten Videostroms funktionieren, indem es Bewegungsvektoren im Rahmen von Kompressionsschritten erzeugt und verarbeitet, die der Übertragung und/oder Speicherung des komprimierten Datenstroms vorausgehen. In anderen Ausführungsformen wird die Verwendung von Bewegungsvektoren vorgesehen, die aus dem optischen Fluss von Prozessen und der Berechnung von Merkmalsübereinstimmungen extrahiert werden. Im Einzelnen codiert die vorliegende Erfindung ausgewählte Daten gleichzeitig mit der Kompression von Bilddaten in einer Kamera, und untersucht die komprimierten Daten zur Erkennung des Vorliegens eines Verstoßes gegen die Straßenverkehrsvorschriften, was einen effizienten Verstoßdatenabruf im Wege der unabhängigen Codierung von Bildern, in denen Verstöße vorkomme, und/oder die Durchsetzung der Verkehrsvorschriften ermöglicht.
  • Einen Überblick der vorliegenden Erfindung zeigt 2. Eine Verkehrsüberwachungskamera 20 erfasst Videoaufnahmen eines interessierenden Bereichs. In dieser Ausführungsform umfasst der Bereich eine Straße, die zu einer Kreuzung führt, die von einem Stoppindikator kontrolliert wird. Die Befolgung des Stoppindikators erfolgt im Rahmen eines vorliegend beschriebenen Videokompressionsverfahrens 22. Generell werden Daten über einen erkannten Verstoß als Metadaten in einen komprimierten Videostrom 24 eingebettet. Im Einzelnen wird ein virtueller Zielbereich, der sich über einen mit dem Stoppindikator in Verbindung stehenden Bereich erstreckt, innerhalb des Sichtfeldes der Kamera festgelegt. Die Kamera erfasst bei der Überwachung des Zielbereichs eine Folge von Bildern. Im Steuerelement der Kamera werden Bewegungsvektoren zwischen angrenzenden Bildern mithilfe des eingehenden, unkomprimierten Live-Videostroms bestimmt. Es handelt sich hierbei um Vektoren der Art, die zur Videokompression verwendet werden können. Ein Cluster aus Bewegungsvektoren wird verwendet, um ein sich über den Zielbereich bewegendes Fahrzeug zu erkennen. Die Schwellen werden auf das Cluster angewendet, um zu ermitteln, wann das erkannte Fahrzeug innerhalb des Bereichs des Stoppindikators gehalten hat. Für einen erkannten Verstoß werden relevante Daten als Metadaten in den komprimierten Videostrom eingebettet. Der komprimierte Videostrom wird mittels eines Netzwerks 26 einer Datenbank 28 und oder einem Benutzergerät bzw. verkehrspolizeilichen Server zugesendet.
  • 3 ist ein funktionelles Blockdiagramm eines Durchsetzungssystems 100 gemäß einer Ausführungsform. Das System 100 kann einen in einem Rechner 104 enthaltenen Videoprozessor 102, ein Videoerfassungsgerät ("Kamera") in dem zu überwachenden Bereich sowie ein in einem Benutzergerät 108 enthaltenes Verstoßbekämpfungsgerät 106, einen Computer an einem Benutzerstandort und einen Server umfassen, die über Kommunikationsverbindungen 110 miteinander verbunden sind und vorliegend als Netzwerk bezeichnet werden. Diese Komponenten werden weiter unten näher beschrieben.
  • Die in 3 gezeigte Vorrichtung 102 umfasst einen Prozessor 112, der den Gesamtbetrieb der Vorrichtung 102 unter Ausführung der im mit dem Prozessor 112 verbundenen Speicher 114 gespeicherten Verarbeitungsbefehle steuert.
  • Die vorliegend beschriebenen Verfahren zur Erzeugung von Vektoren und Verfolgung von Clustern werden vom Prozessor 112 nach den im Speicher 114 gespeicherten Befehlen ausgeführt. Insbesondere speichert der Speicher 114 das Videoerfassungsmodul 116, welches eine Reihe zeitlich miteinander in Verbindung stehender Bilder erfasst; das Bewegungsvektoren-Extraktionsmodul 118, welches ein Cluster aus Bewegungsvektoren mit einem Fahrzeug in Verbindung bringt und einen Standort des Clusters über zwei oder mehr Bilder verfolgt; und das Verstoßbestimmungsmodul 120, welches anhand der Verfolgungsergebnisse ermittelt, ob das Fahrzeug im Zielbereich hält.
  • Vorrichtung 106
  • Die Vorrichtung 102 umfasst ferner eine oder mehrere Kommunikationsschnittstellen (I/O), Netzwerkschnittstellen 122 zum Kommunizieren mit externen Geräten sowie das Benutzergerät 108. Die verschiedenen Hardwarekomponenten 112, 114, 112 der Vorrichtung 102 können alle über einen Bus 124 miteinander verbunden werden.
  • Weiterhin unter Bezugnahme auf 3 umfasst die Vorrichtung 103 ein Speichergerät 126, das zur Vorrichtung 102 gehört oder damit kommuniziert. Gemäß einer Ausführungsform kann sich die Vorrichtung 102 mit einem Server (nicht dargestellt) in Kommunikation befinden, der den Speichergerät 126 zum Speichern von Verkehrsregeln 127 und/oder eine Datenbank komprimierter Videos 128 (z.B. zur Verarbeitung vorher komprimierter Daten, die in der Datenbank gespeichert sind) enthält.
  • Die Vorrichtung 102 des Systems 100 befindet sich mit der Vorrichtung 106 über die Verbindung 110 in einer Kommunikationsverbindung. Die Vorrichtung 106 umfasst einen Prozessor 130 sowie einen Speicher 132 und/oder kann auf einen Speicher 126 zum Speichern vom Prozessor 130 ausführbarer Softwaremodule zugreifen. Der Speicher 132 speichert softwarebefehle zur Ausführung optionaler benutzerseitiger Teile des in 4 dargestellten Verfahrens. Insbesondere können die Befehle ein Verstoßerkennungsmodul 134, das die komprimierten Videodaten von der Vorrichtung 102 empfangen und diese entkomprimieren kann, um zu ermitteln, ob das Fahrzeug im Zielbereich hält. Das Modul 134 kann feststellen, dass das Fahrzeug einen Stoppindikator nicht befolgt und eine Verstoßnachricht erzeugen. Ein Verstoßbekämpfungsmodul 136 kann die entkomprimierten Daten verarbeiten, um Daten, z.B. amtliches Kennzeichen und Fahrzeugbauart, usw., zu erzeugen, die einem Benutzer zur Verfügung gestellt werden können und/oder zur Ausstellung eines Strafzettels verwendet werden können. Diese Module 134, 136 werden nachfolgend unter Bezugnahme auf das Verfahren beschrieben. Die Vorrichtung 106 umfasst ferner eine Kommunikationsschnittstelle (I/O) 138, insbesondere zur verkabelten oder drahtlosen Kommunikation mit der Vorrichtung 102 geeignete Hardwaregeräte und/oder Software umfasst. Der Speicher 132, Prozessor 130 und die Kommunikationsschnittstelle 138 sind über einen Bus 140 kommunikativ miteinander verbunden.
  • Weiterhin unter Bezugnahme auf 3 ist das Benutzergerät 108 der Vorrichtung 106 über eine verkabelte oder drahtlose Verbindung mit einer Benutzerfläche (GUI) 142 kommunikativ verbunden. In verschiedenen Ausführungsformen kann die Benutzeroberfläche 142 ein oder mehrere von einer Anzeigevorrichtung zur Anzeige von Daten an den Benutzer, einem Video- und/oder Standbildschirm zur Anzeige des verstoßenden Fahrzeugs zur Beurteilung durch den Benutzer (Polizeibeamter oder -behörde) 143 umfassen. Die Benutzeroberfläche 142 kann ferner ein Eingabegerät (Touchscreen oder ähnliches Bildschirmgerät) zur Eingabe von Befehlen und/oder zum Empfang einer vom Benutzer eingegebenen Bestätigung oder Korrektur und/oder ein Zeigersteuergerät (Maus, Rollkugel, usw.) zur Übermittlung der vom Benutzer eingegebenen Daten und Befehle an den Prozessor 130 umfassen. Im Einzelnen umfasst die Benutzeroberfläche 142 mindestens eines von einem Eingabe- und Ausgabegerät, die jeweils Hardware umfassen und mit der Vorrichtung 106 über verkabelte und/oder drahtlose Verbindungen kommunikativ verbunden sind.
  • Das System 100 und im Einzelnen die Vorrichtung 102 kann mit einem Stoppsignal 144, Ampel oder einer sonstigen automatischen Vorrichtung in einem überwachten Bereich wie z.B. Mauthäuschen verknüpft sein. Im Falle einer Ampel kann die Kamera aktiviert werden, um eine Szene zu erfassen (d.h. zur Ausführung des Verstoßerkennungsverfahrens), wenn die Ampel rot ist. Zur Aktivierung ist es erforderlich, daß Ampelsteuerung und Kamera miteinander kommunizieren. Jedes Gerät 144 kann einen Trigger 146, einen Timer, der ein Signal an die Vorrichtung 102 zur Erfassung der betrachteten Szene ausgibt, z.B. wenn sich die Ampelfarbe ändert oder wenn Straßenschilder unter bestimmten Umständen beleuchtet werden oder blinken. Werden mehrere Fahrbahnen von unterschiedlichen Ampeln kontrolliert, kann die Überwachung jedes virtuellen Zielbereichs je nach dem Zustand der jeweiligen Ampel unabhängig aktiviert werden.
  • Der Speicher 114, 140, 152 kann ein materielles computerlesbares Medium einer beliebigen Art sein (z.B. RAM, ROM, Magnetscheibe oder -band, Bildplatte, Flash-Speicher oder holographischer Speicher). Gemäß einer Ausführungsform können die Speicher 114, 126, 132 jeweils eine Kombination aus RAM und ROM umfassen. Die digitalen Prozessoren 112, 130 können jeweils in verschiedenen Gestalten vorliegen, wie z.B. als Einzel- oder Doppelkernprozessor (oder noch allgemeiner als Mehrkernprozessor), digitaler Prozessor in Zusammenwirkung mit einem mathematischen Koprozessor, digitales Steuerelement oder dgl. Die digitalen Prozessoren 112, 130 steuern den Betrieb der jeweiligen Vorrichtung 102 oder 106 und führen darüber hinaus die im Speicher 114, 132 gespeicherten Befehle aus, um Teile des unten beschriebenen Verfahrens auszuführen.
  • Die Softwaremodule umfassen im hiesigen Sinne eine beliebige Reihe von der Vorrichtung 102 oder dem Erfassungssystem 106 ausführbarer Befehle zur Konfiguration des Computers oder sonstigen digitalen Systems zur Ausführung der Aufgabe, um die es bei der Software geht. "Software" soll im hiesigen Sinne Befehle, die im Speichermedium, RAM, Festplatte, Bildplatte usw. gespeichert sind, sowie die sog. "Firmware", d.h. Softwareprogramme, die in einem ROM oder dgl. gespeichert sind, umfassen. Die Software kann auf verschiedenerlei Weisen organisiert sein, und kann Softwarekomponenten, die als Bibliotheken, auf einem dezentralen Server oder dgl. gespeicherte Internetprogramme, Quellcode, interpretierten Code, Objektcode, unmittelbar ausführbaren Code usw. umfassen. Es ist vorgesehen, dass die Software Code auf Systemebene oder sonstige auf dem Server oder an einem anderen Standort vorhandene Softwareprogramme abrufen kann, um bestimmte Funktionen auszuführen.
  • Die Schnittstellen 122, 138 können beispielsweise ein Modem, Router, Kabel und/oder Ethernet-Schnittstelle oder dgl. umfassen.
  • Hierbei ist anzumerken, dass vorliegend zwar zwei Rechner 104, 108 rein beispielsweise dargestellt werden, das System 100 aber auf weniger oder mehr miteinander verbundenen Rechnern vorliegen. Jeder Rechner kann beispielsweise eine Kamera, Serverrechner, Desktop-, Laptop- oder Tablettcomputer, Smartphone oder sonstigen Rechner umfassen, der das vorliegende Verfahren ausführen kann.
  • 8 ist ein funktionelles Blockdiagramm eines alternativen Systems 800, bei dem ähnliche Komponenten mit gleichen Referenzzeichen versehen sind. Bei dieser Ausführungsform ist das komprimierte Video nämlich bereits im Speicher 126 gespeichert, und die Verarbeitung der Daten erfolgt uf einem Serverrechner 804, der auf die gespeicherten Daten zugreifen kann. Das System 800 umfasst ein im Serverrechner 804 enthaltenes Videoverarbeitungs- und Verstoßbekämpfungssystem 802. Der Server 804 kann mit einem Benutzergerät 806, einem Rechner einer Verkehrspolizeibehörde oder einem Fahrzeuggerät über die Kommunikationsverbindungen 810, vorliegend: "Netzwerk", kommunizieren.
  • 4 ist ein Flussdiagramm eins Verfahrens 400 zur Bekämpfung von Ampelverstößen, das bei S401 beginnt. Das Verfahren beruht darauf, dass eine ausgewählte Kamera in einem zu überwachenden Bereich positioniert ist. Die Kamera kann eine herkömmliche Straßenverkehrskamera, eine Fotokamera oder eine Videokamera zur Erfassung einer Bildfolge sein. Die Kamera dieser Ausführungsform ist eine IP-Kamera, die zur Erfassung von Bildern und Ausführung der eingebetteten Videokompression geeignet ist. Es sind jedoch auch Ausführung vorgesehen, wobei das beschriebene Verfahren mit komprimierten Videodaten ausgeführt wird, die stattdessen von der Kamera empfangen werden. Auf diese Weise kann das komprimierte Video in einer Videodatenbank verfügbar sein. Allgemein ist die Kamera derart orientiert, dass sie ein bestimmtes Objekt in einer Szene wie z.B. einen stationären Stoppindikator, eine Kreuzung, Fussgängerkreuzung, Stoppsignal, Stoppschild oder eine Kombination dieser Gegenstände erfassen kann. Es besteht keinerlei Beschränkung hinsichtlich des zu betrachtenden Objekts.
  • Ein Initialisierungsverfahren erfolgt, wenn die Kamera installiert und/oder danach kalibriert wird. Ein Standort eines virtuellen Zielbereichs wird innerhalb des Sichtfeldes der Kamera bei S402 festgelegt. Mittels einer geometrischen Konfiguration der Kameraanordnung kann der Zielbereich in Bildkoordinaten nach bekannten Verfahren, z.B. Abbildung manuell eingegebener physischer Koordinaten auf Pixelkoordinaten, definiert werden. Das Ziel kann ein Polygon, eine Ellipse, eine Gerade, eine geschlossene Kurve, eine offene Kurve, oder eine Kombination davon umfassen. Der Bereich ist nicht auf ein oder mehrere virtuelle Polygone beschränkt, sondern umfasst gemäß einer Ausführungsform ein für jede zu überwachende Fahrbahn definiertes virtuelles Polygon. Allgemein umfasst der Zielbereich den Stoppindikator sowie mindestens einen diesen umgebenden Bereich. Beispielsweise kann sich der Zielbereich in einer Ausführungsform eine ausgewählte Zahl Fahrzeuglängen hinter den Stoppindikator erstrecken. Dabei wird der Zielbereich derart definiert, dass er einen den Stoppindikator umgebenden Bereich umfasst, der groß genug ist, um Bewegungen eines sich näherenden Fahrzeugs zu erkennen und zu ermitteln, ob das Fahrzeug zum Halten kommt. Entsprechend muss der Zielbereich groß genug sein, dass die Kamera das Fahrzeug dabei erfassen kann, wie es sich bewegt, hält, und wieder in Bewegung kommt.
  • In 4 erfasst das System bei S403 eine Reihe zeitlich miteinander verbundener Bilder, die den Zielbereich umfassen. Jedes Bild enthält Pixeldaten, die den Zielbereich darstellen. Das System ermittelt bei S404, ob das aktuelle Bild ein erstes Bild der Folge ist. Ist das aktuelle Bild das erste Bild (JA bei S404), erklärt das System das erste Bild bei S405 zum Referenzbild. Ist das aktuelle Bild nicht das erste Bild (NEIN bei S404), führt das System bei S406 ein Kompressionsverfahren an den Pixeldaten aus, um einen oder mehrere Bewegungsvektoren zwischen dem Referenzbild und dem aktuellen Bild zu erzeugen. Die Bewegungsvektoren werden bei der Komprimierung der mit den Bildern in Verbindung stehenden Pixeldaten erzeugt. Mit anderen Worten werden die Vektoren zur Videokompression verwendet. Im Einzelnen erfasst die Kamera Bilder als unkomprimierten Live-Videostrom, und die Kamera komprimiert die Bilddaten, ohne die rohen Pixelwerte zu senden. Die komprimierten Daten umfassen Bewegungsvektoren. Alternativ können Bewegungsvektoren aus einem optischen Flussverfahren geschätzt werden, wie es z.B. von Horn-Schunk, Lucas Kanade und Black vorgeschlagen wird. Bewegungsvektoren sonstiger Art können berechnet werden, indem Übereinstimmungen zwischen hervorstehenden Merkmalen des Fahrzeugs zu verschiedenen Zeitpunkten festgestellt werden. Zu diesen Merkmalen gehören Harris-Eken, Scale Invariant Feature Transform (SIFT), Speeded Up Robust Features (SURF), Maximally Stable Extremal Regions (MSER) und Local Binary Patterns (LBP).
  • Gemäß einer Ausführungsform umfassen die komprimierten Daten ausgewählte Bewegungsvektoren unter Verwerfung der übrigen Bewegungsvektoren. In dieser Ausführungsform werden Bewegungsvektoren im Rahmen eines Bewegungsschätzungsschritts eines Kompressionsverfahrens extrahiert. Die Bewegungsvektoren werden innerhalb der Grenzen des virtuellen Zielbereichs extrahiert, es ist aber gemäß anderen Ausführungsformen auch vorgesehen, dass die Bewegungsvektoren dem Vollbild entnommen werden.
  • Gemäß einer Ausführungsform können die Bewegungsvektoren in einem Verfahren auf Blockbasis erzeugt werden. Im Verfahren auf Blockbasis beschreiben die Bewegungsvektoren Bewegungen zwischen übereinstimmenden Blöcken angrenzender Bilder. Im Verfahren auf Blockbasis wird ein aktuelles Bild mit einem Referenzbild verglichen. Das aktuelle Bild wird in eine Reihe von Blöcken einer vorbestimmten Größe geteilt. In einem Beispiel kann jeder Block 16×16 Pixel umfassen. Für jeden Referenzblock aus m×n Pixeln im Referenzbild wird ein aktueller Block nach einem Zielblock durchsucht, der dem Referenzblock am ähnlichsten ist. Gemäß einer Ausführungsform kann ein Suchfenster um den Standort des Referenzblocks im Referenzbild definiert werden. 5A zeigt ein Referenzbild 50, das in einem Suchfenster 54 einen Referenzblock 52 enthält. 5B zeigt ein aktuelles Bild 56, das einen Zielblock 58 in einem dem Suchfenster des Referenzbildes entsprechenden Bereich enthält. Die Suche nach dem am besten übereinstimmenden Block in einem entsprechenden Bereich des Suchfensters kann in einem bekannten Verfahren wie z.B. einer vollumfänglichen Suche, einer binären Suche, einer dreistufigen Suche, Spiralsuchalgorithmen oder einer Kombination davon erfolgen. Die Suche erfolgt durch Berechnen einer Ähnlichkeit zwischen jedem Referenzblock und den potenziellen Zielblöcken des aktuellen Bildes. Verschiebungen werden zwischen dem ausgewählten Referenzblock und den Zielblöcken berechnet. In einer Ausführungsform wird die Verschiebung mittels eines von der Gleichung (1) dargestellten mittleren quadratischen Fehlers (MSE) berechnet:
    Figure DE102013217570A1_0002
    wobei (d1, d2) der Vektor ist, der die relative Verschiebung zwischen Referenz- und Zielblock beschreibt. In einer weiteren Ausführungsform wird die Verschiebung durch Berechnen einer mittleren absoluten Differenz (MAD) mit der Gleichung (2) berechnet:
    Figure DE102013217570A1_0003
  • In beiden Gleichungen (1) und (2) bedeutet B(k, l, j) das Pixel auf der k-ten Zeile und l-ten Spalte des m×n-Pixelblock des j-ten Bildes.
  • Das j – 1. Bild ist das Referenzbild, welches bereits codiert ist; und,
    das j-te Bild ist das aktuelle Bild.
  • Da sowohl MSE und MAD die Unterschiede zweier Blöcke messen, kann das Ähnlichkeitsmaß als reziproke oder negative MSE oder MAD definiert werden.
  • Ein von den bekannten Kompressionsalgorithmen H264 und MPEG4 angewendetes Verfahren auf Blockbasis kann zur Extraktion der Bewegungsvektoren verwendet werden. Der für den ausgewählten Zielblock bestimmte Bewegungsvektor (d1, d2) maximiert das zwischen dem Referenzblock und den potenziellen Zielblöcken ermittelte Ähnlichkeitsmaß. In Bewegungsausgleichsmethoden auf Blockbasis wird der Bewegungsvektor zur Beschreibung der Verschiebung des Blocks zwischen dem Referenz- und dem aktuellen Bild erzeugt. 6A und 6B zeigen jeweils Beispiele von Referenz- und Zielbildern (d.h aktuellen Bildern). 6C zeigt das Bewegungsfeld in einem Referenzbild, das sich aus der Anwendung des Bewegungsschätzungsalgorithmus auf Blockbasis mit einem 3m×3n Suchfenster (d.h. Pixelsuche) auf das in 6A abgebildete Referenzbild und das in 6B abgebildete Zielbild ergibt. 6D zeigt das vorhergesagte Bild, das sich aus dem Zusammenspleißen der am besten übereinstimmenden Referenzblöcke ergibt. In diesem Fall wird ein Fahrzeug von der Kamera physisch verfolgt. Deshalb panoramiert die Kamera von links nach rechts mit der Bewegung des Fahrzeugs über die Szene. Infolgedessen handelt es sich bei allen scheinbaren Bewegungen, die vom Bewegungsfeld erfasst werden, um die Bewegung des Hintergrundes von links nach rechts relativ zur Kamera. Wenn die Kamera panoramiert, kann eine Segmentierung zwischen dem stationären Hintergrund und den sich bewegenden Objekten mittels Schwellwertbildung mit den resultierenden Bewegungsvektoren nicht nur nach Größe, sondern auch nach Orientierung erreicht werden. Dies liegt daran, dass die Merkmale des Bewegungsvektorfeldes der stationären Objekte (die sich aufgrund der Kamerabewegung anscheinend Bewegen) bekannt sind, wenn im Falle einer PTZ-Kamera das Bewegungsmuster der Kamera bekannt ist. Panoramiert die Kamera z.B. von links nach rechts, können alle Bewegungsvektoren, die oberhalb einer bestimmten Größe liegen und in etwa von rechts nach links in einem im bei 180 Grad zentrierten Intervall orientiert sind, als Hintergrundvektoren gelten. Für Zoomkameras weichen stationäre Objekte anscheinend vom Vergrößerungsfokus ab. Bei einem Kippen der Kamera bewegen sich die stationären Hintergrundobjekte anscheinend vertikal. Es wird angenommen, dass Bildbereiche, die nicht dem Hintergrund zugeordnet werden, einem sich bewegenden Objekt entsprechen. Die Bereiche des Bildes, die sich bewegenden Fahrzeugen entsprechen, können dem Satz der erkannten sich bewegenden Objekte nach Größe, Form, Seitenverhältnis, usw. entnommen werden. Bei der Anwendung dieses Stopperkennungsverfahrens auf Vektorbasis auf eine PTZ- oder sonstige bewegliche Kamera kann eine Vektordifferenz zwischen dem Fahrzeugcluster und dem Hintergrund als Vektor verwendet werden, der die Bewegung des Fahrzeugs darstellt.
  • 7A–7C zeigen einen Standort des definierten Zielbereichs, der in Verbindung mit den für ein aktuelles Bild erzeugten Bewegungsvektoren verwendet wird, um die Erkennung eines Fahrzeugs auszulösen. Im Einzelnen zeigen die 7A und 7B zwei angrenzende Bilder, ein Referenzbild (7A) und ein Zielbild (7B) in einer Beispielfolge. 7C zeigt ein entsprechendes m×n Pixelbewegungsvektorfeld. Ein Zielbereich 700 wird von einem virtuellen Polygon dargestellt und in 7A–7C überlagert. Dieser Zielbereich 700 überquert die überwachte Fahrbahn 702.
  • In 4 ermittelt die Kamera bei S408 weiterhin ein Cluster aus Bewegungsvektoren. Das Cluster aus Bewegungsvektoren wird verwendet, um das Vorhandensein eines sich über den Zielbereich bewegenden Fahrzeugs zu erkennen. Da die Cluster aus Bewegungsvektoren auf das Vorhandensein eines sich bewegenden Objekts in dem von den Blöcken erfassten Bereich hinweisen, wird bei S410 ein zwischen dem Referenz- und dem aktuellen Bild erzeugter Schwellwert auf jeden Bewegungsvektor angewendet, um die sich bewegenden von den stationären Objekten zu unterscheiden. Der Schwellwert N1 kann eine vorbestimmte Vektorlänge oder -größe umfassen. Jeder Bewegungsvektor, der die Schwellänge unterschreitet (NEIN bei S410) wird bei S412 verworfen. Für jeden Bewegungsvektor, der den Schwellwert erreicht und/oder übersteigt (JA bei S410) wird für jede Gruppe aus einem oder mehreren miteinander verbundenen (d.h. angrenzenden) Bewegungsvektoren bei S414 ein Cluster definiert.
  • In 7 befindet sich eine Reihe von aktiven Bewegungsvektoren innerhalb des Zielbereichs, wenn sich ein Fahrzeug 704 durch den Zielbereich 700 bewegt. Da die Cluster aus Bewegungsvektoren auf das Vorhandensein eines sich bewegenden Objekts in dem von den Blöcken erfassten Bereich hinweisen, wird bei S416 (4) ein Schwellwert auf jedes erknnte Cluster angewendet, um das Fahrzeug von den sonstigen sich bewegenden Objekten zu unterscheiden.
  • Der Schwellwert N2 wird angewendet, um falsch positive Ergebnisse zu vermeiden, die sich aus den aktiven Bewegungsvektoren ergeben, die aus der scheinbaren Bewegung anderer Objekte als Fahrzeuge, z.B. Schütteln des Kameras, sich bewegende Blätter, Abfälle, Wolken und Wasser, resultieren. Nur Cluster, deren Größe einen vorbestimmten Schwellwert N2 überschreitet, gelten einem sich bewegenden Fahrzeug als zugehörig, um die von fiktiven Bewegungsquellen verursachten falsch positiven Ergebnisse zu vermeiden. Jedes Cluster, das die Schwellgröße unterschreitet (NEIN bei S416) wird bei S412 verworfen. Für jedes Cluster, das die
  • Schwellgröße erreicht und/oder übersteigt (JA bei 416), wird ein Cluster bei S418 einem Fahrzeug zugeordnet. Die vorbestimmte Größenschwelle definiert sich nach dem kleinsten Cluster aktiver, miteinander verbundener Bewegungsvektoren, die außerhalb des Zielbereichs zur Erkennung eines Fahrzeugs liegen können. Der Wert der Größenschwelle kann von der Geometrie der Kameraanordnung, der Größe des virtuellen Polygons, der Auflösung der Videosequenz sowie der Größe der im Bewegungsschätzungsalgorithmus verwendeten Blöcke abhängen. Gemäß einer Ausführungsform kann die Größenschwelle eine Anzahl Pixel umfassen, die 1/2m für einen m×n Block entsprechen. Beispielsweise kann die Schwelle für einen Block aus 16×16 Pixeln 8 Pixel oder für einen Block aus 48×48 Pixeln 24 Pixel betragen.
  • Weiterhin wird in 4 bei S420 eine Reihe aufeinander folgender Bilder gezählt, über die das dem Fahrzeug entsprechende Cluster weiterhin vorhanden ist. Die Zahl der aufeinander folgenden Bilder wird mit einem Schwellwert N3 bei S422 verglichen. Der Schwellwert N3 umfasst eine vorbestimmte (z.B. niedrigste) Zahl aufeinander folgender Bilder, in denen das Cluster innerhalb des Zielbereichs liegen kann, bevor das erkannte Fahrzeug als sich näherndes Fahrzeug identifiziert wird. Der Wert der Zahlschwelle N3 kann von dem Wert der Größenschwelle N2, der Geometrie der Kameraanordnung, einer Größe des Zielbereichs, einer Bildrate und einer durchschnittlichen Höchstgeschwindigkeit der überwachten Straße abhängen. Für die Bilder, die die Zahlschwelle nicht erreichen (NEIN bei S422), endet das Verfahren. Für jede Zahl, die die Schwelle erreicht und/oder übersteigt (JA bei 422), wird das Cluster bei S424 einem sich bewegenden und/oder nähernden Fahrzeug zugeordnet.
  • Für die oben beschriebenen Parameter kann eine vorgesehene Zahlschwelle N3 sechs (6) Bilder betragen. So kann das System in dem N3-ten aufeinander folgenden Bild ein sich bewegendes Fahrzeug erkennen, in dem Cluster, die die vorbestimmte Größe N2 erreichen und/oder übersteigen, innerhalb des virtuellen Polygons liegen.
  • Weiterhin unter Bezugnahme auf 4 wird eine Position des erkannten Fahrzeugs bei S426 über zwei oder mehr Bilder verfolgt. Die Stopperkennung anhand des abgegrenzten Zielbereichs beruht auf der Annahme, dass die Bewegung eines realen Objektes glatt ist. Sobald das sich bewegenden Fahrzeug erkannt wird, wird das entsprechende Cluster zeitlich verfolgt, während es sich durch den Zielbereich bewegt. Eine Überlappung zwischen (gleich großen) Clustern über mehrere Bilder hinweg kann demselben Objekt entsprechen. So kann gemäß einer Ausführungsform die Verfolgung die Erkennung einer Überlappung zwischen Clustern in angrenzenden Bildern umfassen. Die Überlappung kann mit einem vorbestimmten Schwellwert verglichen werden. Für eine Überlappung, die den Schwellwert erreicht und/oder übersteigt, kann das Cluster demselben sich bewegenden Fahrzeug zugeordnet werden. Auf diese Weise ist eine zuverlässige gleichzeitige Überwachung mehrerer Fahrzeuge möglich.
  • Anhand der Ergebnisse der Verfolgung wird die Bewegung des Fahrzeugs bei S428 überwacht, um zu ermitteln, ob das Fahrzeug hält. Das Halten des Fahrzeugs wird als andauerndes Fehlen von Bewegungen definiert, das innerhalb der Grenzen der Zielbereiche in aufeinander folgenden Bildern festgestellt wird. Das Halten des Fahrzeugs wird erkannt, wenn das verfolgte Cluster für eine Anzahl von Bildern inaktiv wird, die einen vorbestimmten Schwellwert F0 übersteigt. Im Einzelnen, wenn das verfolgte Cluster von mindestens N1 aktiven Bewegungsblöcken auf weniger als N1' aktive Bewegungsblöcke absinkt (wo N1’ ≤ N1) und die Inaktivität über F0 Bilder andauert, wird ein Halten des Fahrzeugs erkannt. Alternativ kann das Halten anhand des Fehlens von Bewegungen des Fahrzeugs während einer nach der Erkennung des Fahrzeugs berechneten vorbestimmten Dauer (F0/Bildrate) erkannt werden. Der Wert des Schwellwertes F0 kann von der Bildrate sowie den straßenverkehrsrechtlichen Bestimmungen des jeweiligen Gebiets abhängen.
  • Generell wird ein erstes Bild in der Folge erkannt, die dem Verschwinden des Clusters entspricht, und ein zweites Bild wird in der Folge erkannt, die dem Wiedererscheinen des Clusters entspricht (S430). Eine Anzahl Bilder wird zwischen dem ersten und zweiten Bild (bei S432) gezählt. Die Zahl der Bilder wird mit einem Schwellwert F0 bei S434 verglichen. Für die Anzahl von Bildern, die den Schwellwert F0 erreichen und/oder übersteigen (JA bei S434) wird bei S436 erkannt, dass das Fahrzeug nahe dem Stoppindikator hält. Für die Anzahl von Bildern, die den Schwellwert F0 nicht erreichen und/oder übersteigen (NEIN bei S434) wird bei S438 erkannt, dass das Fahrzeug nicht hält.
  • Da das Nichtvorhandensein von Bewegungsvektoren auch darauf hinweisen kann, dass das Fahrzeug den Zielbereich verlassen hat, sollte dem erkannten Halten des Fahrzeugs eine Wiederaufnahme der Bewegung folgen. D.h., das Cluster sollte in einem späteren Bild wieder erscheinen. Allgemein wird eine Überlappung der Grenzen der verfolgen Cluster ermittelt. Die Grenzen des verfolgten Fahrzeugclusters (d.h. vor dem Verschwinden) werden mit den Grenzen eines neuen Clusters in einem späteren Bild, das einem sich bewegenden Fahrzeug entspricht (d.h. bei Wiedererscheinen des Clusters). Mit anderen Worten werden die Grenzen zwischen den Clustern des ersten und zweiten Bildes verglichen. Für eine Überlappung, die darauf schließen lässt, dass die aktiven Cluster zwischen dem ersten und zweiten Bild demselben Fahrzeug entsprechen, geht die Verfolgung weiter, bis das Cluster eine Grenze des Zielbereichs, die dem Stoppindikator am nächsten liegt, erreicht und/oder übertritt.
  • Weiterhin wird in 4 bei S440 ein Verstoß erkannt, wenn ein Fahrzeug den Zielbereich überquert, ohne zu halten. Da eine Form eines Zielbereichs zur Ermöglichung der Bekämpfung von Verkehrsrechtsverstößen in Verkehrszonen verschiedenerlei Arten definiert werden kann, kann die Erkennung eines Verstoßes gemäß einer Ausführungsform nur in den Fällen ausgelöst werden, dass das Fahrzeug bestimmte Straßenverkehrsvorschriften nicht einhält. Vorschriften, die der bestimmten Ausfahrtzone entsprechen, können es zulassen, dass ein Fahrzeug wieder in Bewegung kommt (d.h. um den Zielbereich zu verlassen), wenn es beim Stoppindikator abbiegt, die Wiederaufnahme der Bewegung aber verbieten, sofern das Fahrzeug nicht abbiegt. Ein Beispiel hiervon ist "rechts bei Rot", wobei die Fahrzeuge (generell nach vollständigem Halten) bei einer roten Ampel nach rechts abbiegen dürfen, wenn nichts im Wege steht. Deshalb kann ein Verstoß erkannt werden, wenn das verfolgte Fahrzeug den Zielbereich dadurch verlässt, dass es bei Rot nach links abbiegt oder geradeaus fährt. Auf diese Weise kann der Kamerarechner 104 in einer im Speicher 126 gespeicherten Nachschlagtabelle (LUT) eine auf den überwachten Zielbereich anwendbare Vorschrift nachschlagen. Umgekehrt wird kein Verstoß erkannt, wenn das verfolgte Fahrzeug nach rechts abbiegt.
  • Weiterhin in 4 kann als Reaktion auf den erkannten verstoß bei S442 ein Verstoßsignal gesendet werden. Im Einzelnen kann ein Signal dem Benutzergerät zugesendet werden. Das Signal kann eine Mitteilung einer beliebigen Art an das Benutzergerät umfassen. Relevante Daten über das Verstoßereignis können als Metadaten in den komprimierten Videostrom eingebettet werden, die alternativ oder außerdem dem Benutzergerät zur Verfügung gestellt werden können. Die unmittelbare Einbettung der Verstoßdaten in das Video ist nützlich zur Aufzeichnung des Verstoßereignisses.
  • Wie oben erwähnt, werden das Signal und/oder die komprimierten Daten einem Benutzergerät zugesendet. Das Benutzergerät kann einen Fahrzeugrechner oder GPS umfassen, mit dem die Mitteilung einen Fahrer auf den Verstoß aufmerksam machen kann. Beispielsweise kann die Mitteilung ein Warnlicht umfassen. In einer weiteren Ausführungsform kann das Benutzergerät einen Rechner (einen clientseitigen Server) umfassen, der bei einer Verkehrspolizei- oder Verstoßbearbeitungsbehörde liegt oder damit kommuniziert, wodurch die nachfolgenden Daten dem Benutzergerät in den eingebetteten Daten übermittelt werden können: Datum und/oder Uhrzeit des Verstoßes; Fahrzeugdaten, amtliches Kennzeichen, Bauart, Modell, usw.; Dauer (d.h. verstrichene Zeit) zwischen dem Rotwerden der Ampel und der Einfahrt des Verstoßfahrzeugs in die Kreuzung; und eine Kombination davon. Es besteht keinerlei Beschränkung hinsichtlich der in den eingebetteten Daten enthaltenen Daten.
  • Das System ermittelt dann bei S444, ob das aktuelle Bild das Letzte Bild der Folge ist. Ist das aktuelle Bild nicht das letzte Bild der Folge (NEIN bei S444) kehrt das Verfahren zu S406 zurück, um das oben beschriebene Verfahren am nächsten Bild zu wiederholen. Ist das aktuelle Bild das letzte Bild der Folge (JA bei S444), endet das Verfahren bei S446.
  • In einer weiteren Ausführungsform kann das Verfahren in einem zentralen Prozessor ausgeführt werden, der auf die komprimierten Videodaten zugreifen kann. Durch diese Ausführungsform wird die Erkennung von Verstößen mittels eines Decodierungsverfahrens ermöglicht, das nur auf die Bewegungsvektoren angewendet wird, anstatt das ganze Video entkomprimieren zu müssen. Da das Verfahren auf der Verarbeitung von Daten beruht, die von den Bewegungsvektoren übermittelt werden, kann das Verfahren alternativ auf bereits komprimierte Videoströme angewendet werden, ohne das Video vollständig entkomprimieren zu müssen; hierdurch wird die Recheneffizienz gegenüber dem herkömmlichen Verfahren, in dem komplexe Operationen am vollständig entkomprimierten Videostrom ausgeführt werden, erhöht. Das vorgeschlagene Verfahren kann auch zur Verarbeitung gespeicherter Video-/Bilddaten zwecks historischer Datenanalyse verwendet werden.
  • Die Möglichkeit, Metadaten verschiedener Arten einzubetten, ist ein Kernelement der Algorithmen H264 und MPEG4, die zur Extraktion der Bewegungsvektoren in S406 vorgesehen sind. Ein Aspekt dieses Verfahrens sind die Kompressionsstandards, die das Parsen eines komprimierten Videostroms zulassen, ohne die Video-/Audioinhalte tatsächlich decodieren zu müssen. Dieses Merkmal ermöglicht weitere Einsparungen an Rechenleistung.
  • Ein weiterer Aspekt der Erfindung umfasst die rasche Entkomprimierung der Verstoßfahrzeugen entsprechenden Daten. Ausgewählte Bilder in der Folge können als Referenzbilder zur späteren raschen Entkomprimierung codiert werden. Diese ausgewählten Bilder können zur Einsicht durch einen Benutzer zur Bestätigung eines Verstoßes oder zur Erkennung zukünftiger Verstöße rasch entkomprimiert werden. Die Bilddaten können als Beweise zur Ausstellung eines Strafzettels an den Rechtsverletzer verwendet werden. Diese Funktion kann dadurch aktiviert werden, dass bestimmte Bilder als dem Stand der Technik bekannte l-Bilder ausgewählt werden. Beispielsweise kann die rasche Entkomprimierung einer Bildfolge, in der ein am Stoppindikator vorbeifahrendes Fahrzeug erfasst wird, durch Auswahl eines l-Bildes zum Zeitpunkt der Einfahrt des Fahrzeugs in den Zielbereich aktiviert werden.
  • Der unmittelbare Einbau der Verstoßerkennung in den Kompressionsschritt ermöglicht die kameraseitige Einbettung der Verstoßdaten vor der Übermittlung mit einem geringen Rechenaufwand. Hierdurch entfällt der Bedarf nach einer weiteren Klient-/behördenseitigen Verarbeitung, Entkomprimierung, Verstoßerkennung und Rekomprimierung. Diese Funktion führt zu Bandbreitenersparnissen, da die Verstoßerkennung kameraseitig und nicht im zentralen Server erfolgt. In diesem Fall kann die Bandbreite dadurch reduziert werden, dass nur Bilder von Verstößen der zentralen Stelle zur Speicherung und Verwertung als Beweise übermittelt werden. Alternativ können Videobilder, die Verstöße enthalten, als Referenzbilder codiert werden, um zukünftige Videosuchen zu unterstützen, falls der vollständige Videostrom übermittelt und gespeichert wird. Ein weiterer Aspekt besteht in einer Einzelpollösung gegenüber den herkömmlichen Mehrpollösungen, die zur Erkennung von Ampelverstößen verwendet werden.
  • Obwohl das Steuerungsverfahren 400 unten in Form einer Reihe von Operationen oder Ereignissen gezeigt und beschrieben wird, sind die verschiedenen Verfahren bzw. Prozesse nicht auf die dargestellte Reihenfolge der Operationen bzw. Ereignisse beschränkt. In dieser Hinsicht können einige Operationen oder Ereignisse erfindungsgemäß in einer anderen Reihenfolge als und/oder gleichzeitig mit anderen Operationen oder Ereignissen als den dargestellten. Die dargestellten Verfahren sowie sonstige erfindungsgemäße Verfahren können in Hardware, Software oder Kombinationen davon ausgeführt werden, um die vorliegend beschriebenen Steuerungsfunktionen zu ermöglichen, und können in einem beliebigen System, insbesondere dem oben beschriebenen System 100, ausgeführt werden.
  • Das Verfahren kann in einem auf einem Rechner ausführbaren Computerprogramm ausgeführt werden. Das Computerprogramm kann ein nicht flüchtiges, computerlesbares Speichermedium umfassen, auf dem ein Steuerungsprogramm aufgezeichnet (gespeichert) wird, wie z.B. eine Diskette, Festplatte oder dgl. Zu den häufig vorkommenden computerlesbaren Medien gehören beispielsweise Disketten, flexible Disketten, Festplatten, Magnetbänder oder sonstige magnetische Speichermedien, CD-ROM, DVD und sonstige optische Medien, RAM, PROM, EPROM, FLASH-EPROM und sonstige Speicherchips oder -patronen, sowie sonstige materielle Medien, die von Rechnern ablesbar und benutzbar sind.
  • Alternativ kann das Verfahren in einem flüchtigen Medium, einer übertragbaren Trägerwelle ausgeführt werden, in der das Steuerungsprogramm als Datensignal mittels Übertragungsmedien, Schall- oder Lichtwellen, bei Radio- und infraroten Datenkommunikationen erzeugter Wellen und dgl. ausgeführt werden.
  • Das Verfahren kann auf einem oder mehrerem von Computern zum Allgemeingebrauch, Computern zu speziellen Zwecken, programmierten Mikroprozessoren oder Mikrocontrollern sowie peripheren integrierten Schaltungselementen, ASIC oder sonstigen integrierten Schaltungen, digitalen Signalprozessoren, festverdrahteten elektronischen oder Logikschaltungen, diskreten Elementschaltungen, programmierbaren Logikgeräten, PLD, PLA, FPGA, Graphikkarten, CPU (GPU), PAL oder dgl. ausgeführt werden. Allgemein kann ein beliebiges Gerät, das einen endlichen Automaten ausführen kann, der wiederum das in 4 dargestellte Flussdiagramm ausführen kann, zur Ausführung des Verfahrens verwendet werden.

Claims (10)

  1. Verfahren zur Bekämpfung von Ampelverstößen, umfassend: Empfangen von Videodaten von einer Kamera; Definieren eines Zielbereichs in den empfangenen Videodaten; Erkennen von Bewegungsvektoren in den Videodaten; Zuordnen eines Clusters aus den Bewegungsvektoren zu einem Fahrzeug; Verfolgen einer Position des Fahrzeugs über zwei oder mehr Videobilder; Ermitteln mittels der Verfolgungsergebnisse, ob das Fahrzeug im Zielbereich hält; und Signalisieren eines Verstoßes bei erkanntem Nichthalten des Fahrzeugs.
  2. Verfahren nach Anspruch 1, ferner umfassend: Definieren des Zielbereichs in den Bildkoordinaten als ein oder mehrere von einem Polygon, einem Kreis, einer Ellipse, einer geschlossenen Kurve, einer offenen Kurve und einer Geraden.
  3. Verfahren nach Anspruch 1, wobei der Zielbereich einen stationären Stoppindikator enthält.
  4. Verfahren nach Anspruch 1, wobei die Zuordnung des Clusters aus Bewegungsvektoren zum Fahrzeug umfasst: Vergleichen einer Größe jedes Bewegungsvektors mit einem ersten Schwellwert; Definieren eines Clusters derart, dass darin ein oder mehrere miteinander verbundene Bewegungsvektoren enthalten sind, die den ersten Schwellwert erreichen und übersteigen; Vergleichen einer Größe des Clusters mit einem zweiten Schwellwert; und Zuordnung des Clusters zum Fahrzeug, sofern die Größe den zweiten Schwellwert erreicht und übersteigt.
  5. Verfahren nach Anspruch 1, wobei die Zuordnung des Clusters aus Bewegungsvektoren zum Fahrzeug ferner umfasst: Zählen einer Anzahl aufeinander folgender Bilder, in denen das Cluster weiterhin vorhanden ist; Vergleichen der Anzahl aufeinander folgender Bilder mit einem Schwellwert; und Erkennen des Fahrzeugs als sich näherndes Fahrzeug, sofern die Anzahl der aufeinander folgenden Bilder den Schwellwert erreicht und übersteigt.
  6. Verfahren nach Anspruch 1, wobei das Ermitteln, ob das Fahrzeug im Zielbereich hält, umfasst: Erkennen eines ersten Bildes in der Folge, die dem Verschwinden des Clusters entspricht, und eines zweiten Bild in der Folge, die dem Wiedererscheinen des Clusters entspricht; Zählen einer Anzahl Bilder zwischen dem ersten und zweiten Bild; Vergleichen der Anzahl der Bilder mit einem Schwellwert; und Erkennen des Nichthaltens des Fahrzeugs, sofern die Anzahl der aufeinander folgenden Bilder den Schwellwert nicht erreicht.
  7. System zur Bekämpfung von Ampelverstößen, umfassend: ein Videoerfassungsgerät, umfassend: ein zur Erfassung einer Reihe zeitlich miteinander verbundener Bilder, die einen Zielbereich enthalten, geeignetes Videoerfassungsmodul, wobei jedes Bild Pixeldaten enthält, die den Zielbereich darstellen; ein Bewegungsvektoren-Extraktionsmodul, das geeignet ist: zwischen zwei oder mehr der Bilder einen oder mehrere Bewegungsvektoren zu erzeugen, wobei es sich um Bewegungsvektoren der Art, die bei der Komprimierung der mit den zwei oder mehr Bildern in Verbindung stehenden Pixeldaten erzeugt werden, handelt; ein Clusters aus Bewegungsvektoren einem Fahrzeug zuzuordnen; und eine Position des Fahrzeugs über zwei oder mehr Videobilder zu verfolgen; sowie einen zur Ausführung der Module geeigneten Prozessor; wobei das System ferner umfasst: ein Verstoßerkennungsmodul, das geeignet ist: mittels der Verfolgungsergebnisse zu ermitteln, ob das Fahrzeug im Zielbereich hält; und einen Verstoß bei erkanntem Nichthalten des Fahrzeugs zu signalisieren; sowie einen zur Ausführung des Verstoßerkennungsmoduls geeigneten Prozessor.
  8. System nach Anspruch 7, wobei das Bewegungsvektoren-Extraktionsmodul ferner geeignet ist: eine Größe jedes Bewegungsvektors mit einem ersten Schwellwert zu vergleichen; ein Cluster derart zu definieren, dass darin ein oder mehrere miteinander verbundene Bewegungsvektoren enthalten sind, die den ersten Schwellwert erreichen und übersteigen; einer Größe des Clusters mit einem zweiten Schwellwert zu vergleichen; und das Cluster dem Fahrzeug zuzuordnen, sofern die Größe den zweiten Schwellwert erreicht und übersteigt.
  9. System nach Anspruch 7, wobei das Bewegungsvektoren-Extraktionsmodul ferner geeignet ist: eine Anzahl aufeinander folgender Bilder zu zählen, in denen das Cluster weiterhin vorhanden ist; die Anzahl aufeinander folgender Bilder mit einem Schwellwert zu vergleichen; und das Fahrzeugs als sich näherndes Fahrzeug zu erkennen, sofern die Anzahl der aufeinander folgenden Bilder den Schwellwert erreicht und übersteigt.
  10. System nach Anspruch 7, wobei das Verstoßerkennungsmodul ferner geeignet ist: ein erstes Bild in der Folge, die dem Verschwinden des Clusters entspricht, und ein zweites Bild in der Folge zu erkennen, die dem Wiedererscheinen des Clusters entspricht; eine Anzahl Bilder zwischen dem ersten und zweiten Bild zu zählen; die Anzahl der Bilder mit einem Schwellwert zu vergleichen; und das Nichthalten des Fahrzeugs zu erkennen, sofern die Anzahl der aufeinander folgenden Bilder den Schwellwert nicht erreicht.
DE201310217570 2012-09-13 2013-09-03 Verfahren zur bekämpfung von stoppschildverletzungen mittels bewegungsvektoren in videoströmen Pending DE102013217570A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/613,174 US10018703B2 (en) 2012-09-13 2012-09-13 Method for stop sign law enforcement using motion vectors in video streams
US13/613,174 2012-09-13

Publications (1)

Publication Number Publication Date
DE102013217570A1 true DE102013217570A1 (de) 2014-03-13

Family

ID=49487013

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201310217570 Pending DE102013217570A1 (de) 2012-09-13 2013-09-03 Verfahren zur bekämpfung von stoppschildverletzungen mittels bewegungsvektoren in videoströmen

Country Status (3)

Country Link
US (2) US10018703B2 (de)
DE (1) DE102013217570A1 (de)
GB (1) GB2508069B (de)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140042409A (ko) * 2012-09-28 2014-04-07 삼성전자주식회사 오브젝트 부가 정보를 입력하는 장치 및 오브젝트 부가 정보를 입력하는 방법
US9975483B1 (en) * 2013-02-08 2018-05-22 Amazon Technologies, Inc. Driver assist using smart mobile devices
CA2864653C (en) * 2013-09-22 2021-12-14 Comtrol Corporation Stop violation detection system and method
US9558408B2 (en) * 2013-10-15 2017-01-31 Ford Global Technologies, Llc Traffic signal prediction
FR3018940B1 (fr) * 2014-03-24 2018-03-09 Survision Systeme de classification automatique de vehicules automobiles
WO2016034488A1 (en) * 2014-09-03 2016-03-10 Electrolux Appliances Aktiebolag Method for data communication with a domestic appliance by a mobile computer device, mobile computer device and domestic appliance
CN104268573B (zh) * 2014-09-24 2017-12-26 深圳市华尊科技股份有限公司 车辆检测方法及装置
US9986260B2 (en) * 2014-11-14 2018-05-29 Avago Technologies General Ip (Singapore) Pte. Ltd. Census transform data compression methods and systems
KR101694347B1 (ko) * 2015-08-31 2017-01-09 현대자동차주식회사 차량 및 차선인지방법
KR102126511B1 (ko) * 2015-09-02 2020-07-08 삼성전자주식회사 보충 정보를 이용한 영상 프레임의 보간 방법 및 장치
WO2017035663A1 (en) * 2015-09-03 2017-03-09 Miovision Technologies Incorporated System and method for detecting and tracking objects
CN108352114B (zh) 2015-10-27 2022-11-01 市政停车服务公司 停车位检测方法及系统
US11164452B2 (en) 2015-10-27 2021-11-02 Municipal Parking Services, Inc. Parking space detection method and system
EP3378222A4 (de) * 2015-11-16 2019-07-03 Orbital Insight, Inc. Erkennung eines sich bewegenden fahrzeugs und analyse unter verwendung von niedrigauflösenden fernerfassungsbildern
CN105512625B (zh) * 2015-12-02 2019-01-22 南京工程学院 基于聚类子区域关联的稳定特征挖掘和目标跟踪方法
ITUB20159613A1 (it) 2015-12-14 2017-06-14 St Microelectronics Srl Procedimento e sistema di clustering, apparecchiatura e prodotto informatico corrispondenti
CN105405297B (zh) * 2015-12-21 2017-09-29 电子科技大学 一种基于监控视频的交通事故自动检测方法
US11386780B2 (en) 2016-01-13 2022-07-12 Parkhub, Inc. System for monitoring arrival of a vehicle at a given location and associated methods
US11455838B2 (en) 2016-01-13 2022-09-27 Parkhub, Inc. System for monitoring arrival of a vehicle at a given location and associated methods
CN106991820B (zh) * 2016-01-20 2021-03-23 中兴通讯股份有限公司 违规车辆处理方法及装置
DE102016104732A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zur Bewegungsabschätzung zwischen zwei Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
WO2017202461A1 (de) * 2016-05-25 2017-11-30 Siemens Aktiengesellschaft Verfahren, vorrichtung und anordnung zur spurverfolgung von sich bewegenden objekten
CN105957352B (zh) * 2016-06-01 2018-08-28 深圳中兴力维技术有限公司 违章停车检测方法和装置
US10282849B2 (en) * 2016-06-17 2019-05-07 Brain Corporation Systems and methods for predictive/reconstructive visual object tracker
US10726573B2 (en) * 2016-08-26 2020-07-28 Pixart Imaging Inc. Object detection method and system based on machine learning
CN107786867A (zh) 2016-08-26 2018-03-09 原相科技股份有限公司 基于深度学习架构的图像辨识方法及系统
CN106205144B (zh) * 2016-09-07 2018-06-19 东南大学 高速公路应急车道占用监督处罚方法和系统
CN106384359B (zh) * 2016-09-23 2019-06-25 青岛海信电器股份有限公司 运动目标跟踪方法和电视
US10803423B2 (en) 2016-09-29 2020-10-13 The Parking Genius, Inc. System for managing parking of autonomous driving vehicles
US10299122B2 (en) 2016-11-23 2019-05-21 The Parking Genius, Inc. User validation system utilizing symbolic or pictographic representations of validation codes
CN108986472B (zh) * 2017-05-31 2020-10-30 杭州海康威视数字技术股份有限公司 一种掉头车辆监控方法及装置
US10529080B2 (en) * 2017-06-23 2020-01-07 Satori Worldwide, Llc Automatic thoroughfare recognition and traffic counting
CN110473232B (zh) * 2017-07-14 2024-02-09 腾讯科技（深圳）有限公司 图像识别方法、装置、存储介质及电子设备
US10446024B2 (en) 2017-09-21 2019-10-15 The Parking Genius, Inc. Parking sensors capable of determining direction and speed of vehicle entering or leaving a parking lot
US10325497B2 (en) 2017-09-21 2019-06-18 The Parking Genius, Inc. Parking sensors capable of determining direction and speed of vehicle entering or leaving a parking lot using magnetic signature recognition
US10785489B2 (en) 2018-02-15 2020-09-22 DMAI, Inc. System and method for visual rendering based on sparse samples with predicted motion
WO2019161200A1 (en) 2018-02-15 2019-08-22 DMAI, Inc. System and method for conversational agent via adaptive caching of dialogue tree
WO2019161229A1 (en) 2018-02-15 2019-08-22 DMAI, Inc. System and method for reconstructing unoccupied 3d space
FR3078810B1 (fr) * 2018-03-08 2020-04-03 Idemia Identity And Security Dispositif et procede pour differencier un poids lourd de transport de marchandises d’un autocar
TW202001672A (zh) * 2018-06-26 2020-01-01 大陸商上海蔚蘭動力科技有限公司 行車輔助系統及行車輔助系統的操作方法
US10403142B1 (en) * 2018-06-28 2019-09-03 Greg Douglas Shuff Adaptive stop sign and intersection traffic control system
CN108847032A (zh) * 2018-08-21 2018-11-20 北京深瞐科技有限公司 一种交通违法行为识别方法及装置
US11200536B2 (en) * 2018-09-07 2021-12-14 Texas Tech University System Systems and methods for predictively managing collections of items
EP3629226B1 (de) * 2018-09-26 2020-11-25 Axis AB Verfahren zur umwandlung von alarmen
CN109285355A (zh) * 2018-10-19 2019-01-29 天津天地人和企业管理咨询有限公司 一种前后抓拍交通摄像机系统
US10661795B1 (en) * 2018-12-20 2020-05-26 Verizon Patent And Licensing Inc. Collision detection platform
US11030774B2 (en) * 2019-03-19 2021-06-08 Ford Global Technologies, Llc Vehicle object tracking
CN110097074B (zh) * 2019-03-19 2021-06-22 中国科学院信息工程研究所 一种基于序列相似度的车辆轨迹压缩方法
CN110533692B (zh) * 2019-08-21 2022-11-11 深圳新视达视讯工程有限公司 一种面向无人机航拍视频中移动目标的自动跟踪方法
WO2021057504A1 (en) * 2019-09-29 2021-04-01 Zhejiang Dahua Technology Co., Ltd. Systems and methods for traffic monitoring
CN111968365B (zh) * 2020-07-24 2022-02-15 武汉理工大学 一种非信号交叉口车辆行为分析方法、系统及存储介质
CN112133104B (zh) * 2020-08-21 2022-11-01 浙江大华技术股份有限公司 一种车辆信息检测方法、装置、系统及存储介质
CN113470380B (zh) * 2021-06-30 2023-02-28 阿波罗智联(北京)科技有限公司 数据处理方法、装置、电子设备和可读存储介质
CN113706391B (zh) * 2021-11-01 2022-01-18 成都数联云算科技有限公司 无人机航拍图像实时拼接方法、系统、设备及存储介质
CN114419106B (zh) * 2022-03-30 2022-07-22 深圳市海清视讯科技有限公司 车辆违章行为检测方法、设备及存储介质
US11776276B1 (en) * 2022-11-14 2023-10-03 Hayden Al Technologies, Inc. System and methods for automatically validating evidence of traffic violations using automatically detected context features

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US6011870A (en) 1997-07-18 2000-01-04 Jeng; Fure-Ching Multiple stage and low-complexity motion estimation for interframe video coding
IL128017A0 (en) 1998-07-22 1999-11-30 Technion Res & Dev Foundation Method for detecting protein-protein interactions and a kit therefor
SG89282A1 (en) * 1999-05-28 2002-06-18 Kent Ridge Digital Labs Motion information extraction system
US6442474B1 (en) 2000-12-07 2002-08-27 Koninklijke Philips Electronics N.V. Vision-based method and apparatus for monitoring vehicular traffic events
JP4480299B2 (ja) * 2001-06-21 2010-06-16 富士通マイクロエレクトロニクス株式会社 移動体を含む画像の処理方法及び装置
JP4217876B2 (ja) * 2002-12-20 2009-02-04 財団法人生産技術研究奨励会 画像における移動物体の追跡方法及び装置
US7696903B2 (en) * 2003-03-20 2010-04-13 Gentex Corporation Imaging system for detecting vehicle and human movement
US7986339B2 (en) * 2003-06-12 2011-07-26 Redflex Traffic Systems Pty Ltd Automated traffic violation monitoring and reporting system with combined video and still-image data
KR100630088B1 (ko) * 2004-12-28 2006-09-27 삼성전자주식회사 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
EP1932352A2 (de) * 2005-09-27 2008-06-18 Koninklijke Philips Electronics N.V. Vorrichtung zur bewegungserfassung
JP4303748B2 (ja) * 2006-02-28 2009-07-29 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
ITTO20060214A1 (it) * 2006-03-22 2007-09-23 Kria S R L Sistema di rilevamento di veicoli
US20090074310A1 (en) 2007-09-19 2009-03-19 Chung Shan Institute Of Science And Technology, Armaments Bureau, M.N.D. Image data compression method
KR101540138B1 (ko) * 2007-12-20 2015-07-28 퀄컴 인코포레이티드 적응적 조사영역을 갖는 모션추정 장치 및 방법
EP2380143A4 (de) * 2008-12-24 2012-06-13 Vehicle Monitoring Systems Pty Ltd Verfahren und system zur ermittlung von fahrzeugvergehen
WO2011070783A1 (ja) * 2009-12-10 2011-06-16 パナソニック株式会社 情報表示装置及び情報表示方法
US20110169957A1 (en) 2010-01-14 2011-07-14 Ford Global Technologies, Llc Vehicle Image Processing Method
TWI408625B (zh) * 2010-04-15 2013-09-11 Univ Nat Chiao Tung 車輛追蹤系統及其方法
JP4985818B2 (ja) 2010-05-14 2012-07-25 カシオ計算機株式会社 画像処理装置および画像処理のプログラム
US9472097B2 (en) * 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
EP2663971A1 (de) * 2010-11-15 2013-11-20 Image Sensing Systems, Inc. Hybrides verkehrssensorsystem und zugehöriges verfahren
US20120148092A1 (en) * 2010-12-09 2012-06-14 Gorilla Technology Inc. Automatic traffic violation detection system and method of the same
TWI475524B (zh) * 2011-04-15 2015-03-01 Hon Hai Prec Ind Co Ltd 利用影像偵測違規車輛的系統及方法
US8731244B2 (en) * 2011-07-28 2014-05-20 Xerox Corporation Systems and methods for improving image recognition
US9681125B2 (en) * 2011-12-29 2017-06-13 Pelco, Inc Method and system for video coding with noise filtering
US20130286198A1 (en) 2012-04-25 2013-10-31 Xerox Corporation Method and system for automatically detecting anomalies at a traffic intersection
US9008359B2 (en) * 2012-06-28 2015-04-14 International Business Machines Corporation Detection of static object on thoroughfare crossings

Also Published As

Publication number Publication date
GB2508069B (en) 2019-06-26
US9442176B2 (en) 2016-09-13
GB2508069A (en) 2014-05-21
GB201316117D0 (en) 2013-10-23
US20150117704A1 (en) 2015-04-30
US20140071286A1 (en) 2014-03-13
US10018703B2 (en) 2018-07-10

Similar Documents

Publication Publication Date Title
DE102013217570A1 (de) Verfahren zur bekämpfung von stoppschildverletzungen mittels bewegungsvektoren in videoströmen
DE102012216522B4 (de) Mehrfach auflösende videoanalyse und wichtige merkmale bewahrende videoreduzierungsstrategie für systeme zur (echtzeit) fahrzeugverfolgung und geschwindigkeitskontrolle
DE102015200589B4 (de) Verbessertes videobasiertes System zur automatisierten Erkennung von Verstössen durch Parken in zweiter Reihe
CN108509912B (zh) 多路网络视频流车牌识别方法及系统
AT502551B1 (de) Verfahren und bildauswertungseinheit zur szenenanalyse
DE112017001311T5 (de) System und Verfahren zum Trainieren eines Objektklassifikators durch maschinelles Lernen
DE102013216041A1 (de) Videobasierte Fahrzeuggeschwindigkeitsschätzung anhand von Bewegungsvektoren in Videostreams
DE102013210836A1 (de) Erkennen eines bewegungslosen Gegenstands auf Kreuzungen von Verkehrswegen
KR20200071799A (ko) 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법
DE102012204901A1 (de) Verbesserung der Zuverlässigkeit beim Erkennen von Schienenkreuzungsereignissen
EP2023265A1 (de) Verfahren für eine Erkennung eines Gegenstandes
DE102015208139A1 (de) Fahrzeuginsassenerfassung mittels des Abstands zwischen Beifahrer- und Fahrermerkmalen
DE102012218870A1 (de) Verbessertes Erkennen herrenloser Objekte unter Verwendung des Erfassens von Fussgängern
DE102013217569A1 (de) Videoverfolgung zur videobasierten geschwindigkeitskontrolle
Yimyam et al. Video Surveillance System Using IP Camera for Target Person Detection
WO2019042728A2 (de) Erfassen von verkehrsteilnehmern auf einem verkehrsweg
EP2521070A2 (de) Verfahren und System zum Erfassen einer statischen oder dynamischen Szene, zum Bestimmen von Rohereignissen und zum Erkennen von freien Flächen in einem Beobachtungsgebiet
WO2020210960A1 (zh) 交通道路的数字化全景重建的方法和系统
CN204375161U (zh) 违章停车自动抓拍系统
EP2483834B1 (de) Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objekts in einem Bild
DE102014210140A1 (de) Verfahren und Systeme zum Klassifizieren eines Fahrzeugs unter Verwendung von Bewegungsvektoren
DE10049366A1 (de) Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System
EP1732051A1 (de) Verfahren und Vorrichtung zur Verkehrsüberwachung
DE102019208191A1 (de) Unterstützungssystem zur fahrzeugführung
Letavay et al. SWOT Analysis for Object Detection in Traffic Engineering Based on YOLO Implementation–Case Study

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE

Representative=s name: GRUENECKER, KINKELDEY, STOCKMAIR & SCHWANHAEUS, DE

R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: CONDUENT BUSINESS SERVICES, LLC, FLORHAM PARK, US

Free format text: FORMER OWNER: XEROX CORPORATION, NORWALK, CONN., US

Owner name: CONDUENT BUSINESS SERVICES, LLC (N.D.GES.D. ST, US

Free format text: FORMER OWNER: XEROX CORPORATION, NORWALK, CONN., US

R082 Change of representative

Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE

R081 Change of applicant/patentee

Owner name: CONDUENT BUSINESS SERVICES, LLC, FLORHAM PARK, US

Free format text: FORMER OWNER: CONDUENT BUSINESS SERVICES, LLC (N.D.GES.D. STAATES DELAWARE), DALLAS, TEX., US

R082 Change of representative

Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE

R016 Response to examination communication