DE102013210478A1 - Geometrische vorkorrektur zur automatischen nummernschilderkennung - Google Patents

Geometrische vorkorrektur zur automatischen nummernschilderkennung Download PDF

Info

Publication number
DE102013210478A1
DE102013210478A1 DE102013210478A DE102013210478A DE102013210478A1 DE 102013210478 A1 DE102013210478 A1 DE 102013210478A1 DE 102013210478 A DE102013210478 A DE 102013210478A DE 102013210478 A DE102013210478 A DE 102013210478A DE 102013210478 A1 DE102013210478 A1 DE 102013210478A1
Authority
DE
Germany
Prior art keywords
correction
matrix
shield
image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102013210478A
Other languages
English (en)
Other versions
DE102013210478B4 (de
Inventor
Zhigang Fan
Yonghui Zhao
Shen-ge Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conduent Business Services LLC
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of DE102013210478A1 publication Critical patent/DE102013210478A1/de
Application granted granted Critical
Publication of DE102013210478B4 publication Critical patent/DE102013210478B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/243Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Character Input (AREA)
  • Geometry (AREA)

Abstract

Ein Verfahren zum Einstellen eines Nummernschildes, das in einem aufgenommenen Bild erkannt wird, umfasst das automatische Bestimmen mindestens eines Satzes Korrekturparameter, die einem schräg orientierten Nummernschild entsprechen. Das Verfahren umfasst ferner das Empfangen eines Eingabebildes, das ein erkanntes Nummernschild darstellt. Als Reaktion auf den Empfang des Eingabebildes umfasst das Verfahren das automatische Einstellen des Eingabebildes, um unter Verwendung des mindestens einen Satzes Korrekturparameter ein korrigiertes Bild zu erzielen.

Description

  • Die vorliegende Offenbarung betrifft ein Verfahren und Gerät zum automatischen Einstellen eines Nummernschildes, das in einem aufgenommenen Bild erkannt wird, so dass die Zulassungsnummer analysiert und identifiziert werden kann. Es versteht sich, dass die vorliegenden Ausführungsbeispiele auch für andere ähnliche Anwendungen abänderbar sind. Ein System zur automatischen Nummernschilderkennung (ALPR) ist ein verkehrstechnisches Überwachungssystem, das unter Verwendung einer Standbild- oder Videokamera Bilder von fahrenden oder parkenden Fahrzeugen aufnimmt. Das System lokalisiert ein Nummernschild in dem Bild und verwendet die optische Zeichenerkennung (OCR), um die Nummer des Nummernschildes zu bestimmen. Das ALPR-System funktioniert häufig als Kernmodul für ein intelligentes Transportinfrastruktursystem, da seine zahlreichen Verwendungen die Überwachung des Verkehrsflusses, die Einhaltung von Verkehrsregeln und die Verfolgung von verdächtigen Kriminellen umfassen kann.
  • Eine Herausforderung für die ALPR-Technology ist ihre Robustheit gegen geometrische Variationen. Die Position einer Kamera, wie etwa der Einfallswinkel zwischen der Kamera und einer angestrebten Aufnahmefläche, und die Parameter der Kamera können die Qualität des aufgenommenen Bildes auf Grund einer Verformung beeinträchtigen. Das Nummernschild in dem Bild kann durch einen anderen Maßstab, einen anderen Drehwinkel oder eine andere geometrische Verformung beeinträchtigt werden. Obwohl die meisten ALPR-Kameras sorgfältig positioniert sind, um eine perspektivische Verformung zu minimieren, ist eine starke Scherung immer noch ein übliches Ergebnis.
  • Eine mögliche Lösung für die Verformung besteht darin, einen ALPR-Algorithmus zu entwerfen, der für geometrische Änderungen unveränderlich ist. Eine derartige Lösung wird jedoch häufig durch höhere rechnerische Kosten und andere Bedingungen verhindert, wie beispielsweise eine reduzierte Genauigkeit bei der Detektion. Im Allgemeinen sind die inhärente rechnerische Komplexität und die rechnerischen Kosten eines Systems proportional zum Produkt des Suchbereichs für jeden geometrischen Parameter.
  • Für viele ALPR-Anwendungen, wie etwa die Überwachung von Mautschlagbäumen auf Mautstraßen, ist die geometrische Konfiguration gewöhnlich feststehend oder weist eine beschränkte Variation für jede Kamera auf. Daher sind herkömmliche ALPR-Systeme auf eine Benutzereingabe angewiesen, um einen Suchbereich zu reduzieren. Beispielsweise kann das System einen Benutzer auffordern, die erwartete minimale und maximale Höhe der Nummernschilder in den Eingabebildern vorzugeben. Das System verwendet die empfangenen Informationen als Benutzereingaben, um den Maßstab zu bestimmen. Das System kann auch einen erwarteten maximalen Schildwinkel als Benutzereingabe empfangen.
  • Es gibt mehrere Nachteile und Einschränkungen für die Umsetzung des Empfangs von Benutzereingaben zu Analysezwecken. Die Benutzer müssen eine gewisse Bildverarbeitungskenntnis besitzen, um die Plattenhöhe und den Drehwinkel zu messen, die in den Bildern enthalten sind, während gewisse Parameter, wie etwa die Scherung, nicht ohne Weiteres von den Benutzern zu erzielen sind. Diese Vorgehensweise erfordert auch eine erhebliche Menge Arbeit, welche die Benutzer ausführen müssen. Ferner können die manuellen Eingaben, die von den Benutzern bereitgestellt werden, falsch oder ungenau sein. Das System kann daher auf ungenaue Messungen angewiesen sein, um seine Analyse auszuführen. Daher besteht ein Bedarf an einem Verfahren und einem Gerät, welche die Bilder der Nummernschilder, die in aufgenommenen Bildern erkannt werden, automatisch anpassen.
  • Ein anderer Nachteil der herkömmlichen Vorgehensweise besteht darin, dass die eigentlichen geometrischen und Kameraparameter im Verlauf der Zeit abweichen können. Beispielsweise kann die Kamera aus ihrer ursprünglichen Position heraus kippen. Entsprechend werden ein Verfahren und Gerät benötigt, welche die Parameter einer ALPR-Kamera automatisch kalibrieren, um die Verschiebung im Verlauf der Zeit auszugleichen. Auf diese Art und Weise ist das System dazu geeignet, um im Voraus automatisch das Ausmaß der Scherung zu schätzen, das von einem aufgenommenen Bild zu erwarten ist, bevor ein Fahrzeug an der Bildaufnahmevorrichtung ankommt. Entsprechend wird ein System benötigt, das dazu geeignet ist, um Scherungsmuster in einer Bildaufnahmevorrichtung zu schätzen.
  • Eine erste Ausführungsform der vorliegenden Offenbarung betrifft ein Verfahren zum Einstellen eines Nummernschildes, das in einem aufgenommenen Bild erkannt wird. Das Verfahren umfasst das automatische Bestimmen mindestens eines Satzes Korrekturparameter, die einem schräg orientierten Nummernschild entsprechen. Das Verfahren umfasst ferner das Empfangen eines Eingabebildes, das ein erkanntes Nummernschild darstellt. Als Reaktion auf den Empfang des Eingabebildes umfasst das Verfahren das automatische Einstellen des Eingabebildes, um unter Verwendung des mindestens einen Satzes Korrekturparameter ein korrigiertes Bild zu erzielen.
  • Eine andere Ausführungsform der Offenbarung betrifft ein System zum Einstellen eines Eingabebildes. Das System umfasst eine Eingabevorrichtung, die dazu geeignet ist, um ein Bild eines Nummernschildes aufzunehmen. Das System umfasst ferner eine Korrekturvorrichtung in Kommunikation mit der Eingabevorrichtung. Die Korrekturvorrichtung ist dazu geeignet, um das Eingabebild zu empfangen, das von der Eingabevorrichtung übertragen wird. Als Reaktion auf den Empfang des Eingabebildes ist die Korrekturvorrichtung ferner dazu geeignet, um das Eingabebild automatisch einzustellen, um ein korrigiertes Bild zu erzielen, indem mindestens eine Korrekturmatrix angewendet wird. Das System umfasst eine Speichervorrichtung in Kommunikation mit der Korrekturvorrichtung. Die Speichervorrichtung ist dazu geeignet, um die mindestens eine Korrekturmatrix zu speichern. Das System umfasst ferner eine Schnittstelle in Kommunikation mit der Korrekturvorrichtung, wobei die Schnittstelle dazu geeignet ist, um das korrigierte Bild anzuzeigen.
  • Eine weitere Ausführungsform der Offenbarung betrifft ein System zum Einstellen eines Eingabebildes. Das System umfasst eine Trainingsvorrichtung, die dazu geeignet ist, um Bilder einer Reihe von Schildern zu empfangen. Die Trainingsvorrichtung ist dazu geeignet, um eine Matrix zu bestimmen, die Merkmalssätze für jedes der Reihe von Schildern enthält. Die Trainingsvorrichtung ist ferner dazu geeignet, um eine ideale Geometriematrix zu bestimmen, indem sie Merkmalssätze für Höhe und Breite einer Reihe idealer Schilder vorgibt. Die Trainingsvorrichtung ist dann dazu geeignet, um unter Verwendung der Matrix und der idealen Geometrie eine Korrekturmatrix zu berechnen. Das System umfasst ferner eine Speichervorrichtung in Kommunikation mit der Trainingsvorrichtung. Die Speichervorrichtung ist dazu geeignet, um die mindestens eine Korrekturmatrix zu speichern. Das System umfasst auch eine Eingabevorrichtung, die dazu geeignet ist, um ein Bild eines erkannten Nummernschildes aufzunehmen. Das System umfasst eine Korrekturvorrichtung in Kommunikation mit der Eingabevorrichtung und der Speichervorrichtung. Die Korrekturvorrichtung ist dazu geeignet, um das aufgenommene Bild zu empfangen, das von der Eingabevorrichtung übertragen wird. Als Reaktion auf den Empfang des Eingabebildes ist die Korrekturvorrichtung dazu geeignet, um das Eingabebild automatisch einzustellen, um ein korrigiertes Bild zu erzielen, indem die mindestens eine Korrekturmatrix angewendet wird. Das System umfasst eine Schnittstelle in Kommunikation mit der Korrekturvorrichtung. Die Schnittstelle ist dazu geeignet, um das korrigierte Bild anzuzeigen.
  • Es zeigen:
  • 1 eine schematische Abbildung eines ALPR-Korrektursystems gemäß einer Ausführungsform.
  • 2 ein Ablaufschema, das ein Verfahren zum Korrigieren eines Bildes eines Nummernschildes beschreibt.
  • 3 ein hinten montiertes Schild, das in einem Bild verformt wurde.
  • 4 eine Scherungstransformation zum Nähern der Verformung des in 3 gezeigten Schildes.
  • 5 ein Schild, das in einer im Allgemeinen geraden Orientierung an einem Fahrzeug montiert ist.
  • 6 ein Schild, das in einer im Allgemeinen schrägen Orientierung an einem Fahrzeug montiert ist.
  • 7 ein Ablaufschema, das die Kalibrierungsphase beschreibt, die verwendet wird, um die mindestens eine Korrekturmatrix zu bestimmen.
  • 8 ein Ablaufschema, das die Betriebsphase beschreibt, welche die mindestens eine Korrekturmatrix zum Einstellen eines aufgenommenen Bildes verwendet.
  • 9 Bilder von Schildern vor und nach der Korrektur.
  • 10A–B aufgenommene Bilder, die als Eingabe für eine Versuchsumsetzung der Betriebsphase verwendet wurden.
  • 11A–B die korrigierten Bilder aus 10A–B, nachdem sie dem in der Offenbarung beschriebenen Vorgang unterzogen wurden.
  • Die vorliegende Offenbarung betrifft ein ALPR-Korrektursystem und ein Verfahren zum automatischen Kalibrieren einer Kamera und zum automatischen Verarbeiten und/oder Korrigieren von Bildern, die von der Kamera aufgenommen werden. Die Eingabebilder erfahren Vorgänge des automatischen Skalierens und Scherens, um die geometrische Verformung zu reduzieren. Das ALPR-Korrektursystem betrifft ALPR-Anwendungen, die eine feste Kamerakonfiguration verwenden, wie etwa bei Mauterhebungsvorgängen. Das Verfahren wird in zwei Phasen ausgeführt: eine Kalibrierungsphase und eine Betriebsphase. Während der Kalibrierungsphase funktioniert das ALPR-Korrektursystem in einem vollen Bereich, der alle möglichen Skalierungs- und Scherungsparameter abdeckt, wobei eine Drehung als Sonderfall der Scherung angesehen wird. Aus der Geometrie eines erkannten Nummernschildes schätzt das ALPR-Korrektursystem die Skalierungs- und Scherungscharakteristiken, die mit der Korrektureinstellung verknüpft sind. Das ALPR-Korrektursystem bestimmt dann eine optimale Korrekturmatrix. Während der Betriebsphase werden die Korrekturmatrizen, die aus der Kalibrierung erlernt wurden, auf ein aufgenommenes Bild eines Nummernschildes angewendet. Die Korrekturmatrizen werden verwendet, um die Scherungsverformung zu korrigieren und das erkannte Nummernschild auf eine vorherbestimmte Größe zu skalieren. Die ALPR-Korrekturkamera ist dann dazu geeignet, um in einem reduzierten Bereich zu funktionieren, der die Schilder ungefähr in der gleichen Größe und in der gleichen rechteckigen Form erkennt.
  • 1 ist eine schematische Abbildung eines ALPR-Korrektursystems 100 in einem Ausführungsbeispiel. Das ALPR-Korrektursystem umfasst eine Trainingsvorrichtung 102, eine Speichervorrichtung 104 und eine Korrekturvorrichtung 106, die über Kommunikationsverbindungen, die hier als Netzwerk bezeichnet werden, miteinander verbunden sein können. Diese Komponenten werden nachstehend ausführlicher beschrieben.
  • Die Trainingsvorrichtung 102, die in 1 abgebildet ist, umfasst einen Controller 108, der Teil der Trainingsvorrichtung 102 oder damit verknüpft ist. Der beispielhafte Controller 108 ist dazu geeignet, um eine Trainingsphase des ALPR-Systems 100 zu steuern, indem er Korrekturmatrizen bildet, die man später auf die erkannten Bilder anwenden kann. Der Controller 108 umfasst einen Prozessor 110, der den gesamten Betrieb der Trainingsvorrichtung 102 durch die Ausführung von Verarbeitungsanweisungen steuert, die in einem Speicher 112 gespeichert sind, der an den Prozessor 110 angeschlossen ist.
  • Der Speicher 112 kann eine beliebige Art eines materiellen computerlesbaren Mediums sein, wie etwa ein Arbeitsspeicher (RAM), ein Festspeicher (ROM), eine Magnetplatte oder ein Magnetband, eine optische Platte, ein Flash-Speicher oder ein holographischer Speicher. Bei einer Ausführungsform umfasst der Speicher 112 eine Kombination aus Arbeitsspeicher und Festspeicher. Der digitale Prozessor 110 kann unterschiedlich ausgebildet sein, wie etwa als Einzelkernprozessor, als Doppelkernprozessor (oder noch allgemeiner als Mehrkernprozessor), als digitaler Prozessor und als mitwirkender mathematischer Coprozessor, als digitaler Controller oder dergleichen. Zusätzlich zum Steuern des Betriebs der Trainingsvorrichtung 102 führt der digitale Prozessor Anweisungen aus, die in dem Speicher 112 gespeichert sind, um die Teile des Verfahrens auszuführen, die in 2 und 7 zusammengefasst sind. Bei einigen Ausführungsformen kann man den Prozessor 110 und den Speicher 112 in einem einzigen Chip kombinieren.
  • Die Trainingsvorrichtung 102 kann in einer vernetzten Vorrichtung ausgebildet sein, obwohl es ebenfalls in Betracht gezogen wird, dass sich die Trainingsvorrichtung 102 an einer anderen Stelle in einem Netzwerk befindet, an welches das ALPR-Korrektursystem 100 angeschlossen ist, wie etwa auf einem Server, einem vernetzten Computer oder dergleichen, oder dass es auf das ganze Netzwerk verteilt ist oder dafür anderweitig zugänglich ist. Die hier offenbarte Trainingsphase wird von dem Prozessor 110 gemäß den Anweisungen ausgeführt, die in dem Speicher 112 enthalten sind. Insbesondere speichert der Speicher 112 ein Modul zum Erstellen einer Korrekturmatrix 114, das eine Reihe Musterschildbilder empfängt, eine Matrix bestimmt, die Merkmalssätze für jedes der Musterbilder enthält, eine ideale Geometrie bestimmt, indem es ideale Merkmalssätze für Höhe und Breite für die Schilder vorgibt, und eine Korrekturmatrix unter Verwendung der Matrix und der idealen Geometrie verwendet. Es werden Ausführungsformen in Betracht gezogen, bei denen diese Anweisungen in mehreren Modulen gespeichert sein können. Das Modul zum Erstellen einer Korrekturmatrix 114 wird später mit Bezug auf das beispielhaften Verfahren beschrieben.
  • Die Software-Module, wie sie hier beschrieben werden, sind dazu gedacht, eine beliebige Sammlung oder einen beliebigen Satz von Anweisungen einzubeziehen, die von der Trainingsvorrichtung 102 oder einem anderen digitalen System ausführbar sind, um den Computer oder ein anderes digitales System zu konfigurieren, damit er bzw. es die Aufgabe ausführt, für welche die Software gedacht ist. Der Begriff „Software”, wie er hier verwendet wird, ist dazu gedacht, Anweisungen von der Art einzubeziehen, die in einem Speichermedium gespeichert ist, wie etwa einem RAM, einer Festplatte, einer optischen Platte oder dergleichen, und ist auch dazu gedacht, so genannte „Firmware” einzubeziehen, wobei es sich um Software handelt, die in einem ROM oder dergleichen gespeichert ist. Eine derartige Software kann verschiedenartig organisiert sein und kann Software-Komponenten umfassen, die als Bibliotheken, internetbasierte Programme, die auf einem entfernt aufgestellten Server oder dergleichen gespeichert sind, Source-Code, interpretativer Code, Objektcode, direkt ausführbarer Code und dergleichen organisiert sind. Es wird in Betracht gezogen, dass die Software Code oder Aufrufe an andere Software, die sich auf einem Server (nicht gezeigt) oder an einer anderen Stelle befindet, abrufen kann, um bestimmte Funktionen auszuführen.
  • Weiter mit Bezug auf 1 umfasst die Trainingsvorrichtung 102 auch eine oder mehrere Kommunikationsschnittstellen, wie etwa Netzwerkschnittstellen, um mit externen Vorrichtungen zu kommunizieren. Die Kommunikationsschnittstellen 116, 118 können beispielsweise ein Modem, einen Router, ein Kabel und und/oder einen Ethernet-Anschluss usw. umfassen. Eine erste Kommunikationsschnittstelle 116 ist dazu geeignet, um Musterbilder 120 als Eingabe zu empfangen. Eine zweite Kommunikationsschnittstelle 118 ist dazu geeignet, um mindestens eine Korrekturmatrix 122 als Ausgabe bereitzustellen. Bei den in Betracht gezogenen Ausführungsformen kann eine Kommunikationsschnittstelle die Eingabe empfangen und die Ausgabe bereitstellen. Die diversen Komponenten der Trainingsvorrichtung 102 können alle über einen Bus 124 angeschlossen sein.
  • Die Trainingsvorrichtung 102 kann eine oder mehrere spezielle oder universelle Computervorrichtungen umfassen, wie etwa einen Servercomputer oder ein digitales Frontend (DFE) oder eine beliebige andere Computervorrichtung, die in der Lage ist, Anweisungen auszuführen, um das beispielhafte Verfahren auszuführen.
  • 1 bildet ferner die Trainingsvorrichtung 102 ab, wie sie an eine Bildquelle 126 angeschlossen ist, um Musterbilder in einem elektronischen Format einzugeben und/oder zu empfangen. Die Bildquelle 126 kann eine Bildaufnahmevorrichtung 144 umfassen, wie etwa eine Kamera, die ausgewählt wird, um kalibriert zu werden, oder es kann sich um eine Vorrichtung handeln, die dazu geeignet ist, um Bilder, die von der Kamera aufgenommen werden, an die Trainingsvorrichtung weiterzugeben und/oder zu übertragen. Beispielsweise kann die Bildquelle 126 einen Scanner, einen Computer oder dergleichen umfassen. Bei einer anderen Ausführungsform können die Bilddaten 120 von einer beliebigen geeigneten Quelle eingegeben werden, wie etwa von einer Arbeitsstation, einer Datenbank, einer Speichervorrichtung, wie etwa einer Platte oder dergleichen. Die Bildquelle 126 steht in Kommunikation mit dem Controller 106, der den Prozessor 110 und die Speicher 112 enthält.
  • Weiter mit Bezug auf 1 umfasst das ALPR-Korrektursystem 100 eine Speichervorrichtung 104 in Kommunikation mit der Trainingsvorrichtung 102. Bei einer in Betracht gezogenen Ausführungsform kann die Trainingsvorrichtung 102 in Kommunikation mit einem (nicht gezeigten) Server stehen, der eine Verarbeitungsvorrichtung und einen Speicher umfasst, wie etwa die Speichervorrichtung 104, oder der Zugriff auf eine Speichervorrichtung 104 hat, um Korrekturmatrizen zu speichern, die von der Korrekturvorrichtung 106 verwendet werden können. Die Speichervorrichtung 104 umfasst ein Korrekturmatrizenarchiv 128, das mindestens eine Korrekturmatrix 122 speichert, die von der Trainingsvorrichtung 102 bereitgestellt wird.
  • Weiter mit Bezug auf 1 umfasst das ALPR-Korrektursystem 100 ferner die Bildkorrekturvorrichtung 106 in Kommunikation mit der Speichervorrichtung 104, die dazu geeignet ist, um das Verfahren auszuführen, das in 2 und 8 zusammengefasst ist. Die beispielhafte Bildkorrekturvorrichtung 104 umfasst beispielsweise einen Computer oder Mikrocomputer. Die Bildkorrekturvorrichtung 104 kann als Teil einer Bildaufnahmevorrichtung 142 enthalten sein oder kann in Kommunikation mit der Bildaufnahmevorrichtung 142 stehen. Die Bildkorrekturvorrichtung 106 umfasst einen Prozessor 130, wie etwa eine CPU, und einen Speicher 132 zum Speichern von Software-Modulen, die auf dem Prozessor der CPU ausführbar sind, und mindestens eine Kommunikationsschnittstelle 134, die Hardware und/oder Software umfasst, die dazu geeignet ist bzw. sind, um eine drahtlose Datenkommunikation mit der Speichervorrichtung 104 bereitzustellen, eine Bildaufnahmevorrichtung 136 und ein Display 138. Der Speicher 132, der Prozessor 130 und die Kommunikationsschnittstelle(n) 134 können ähnlich konfiguriert sein wie der Speicher 112, der Prozessor 110 und die Kommunikationsschnittstellen 116, 118 der Trainingsvorrichtung 102. Das beispielhafte Software-Modul umfasst ein Bildanpassungsmodul 140, das ein aufgenommenes Bild 142 empfängt, das von einer Eingabevorrichtung 144 übertragen wird, und als Reaktion auf den Empfang des Eingabebildes 142 das Eingabebild 142 automatisch anpasst, um ein korrigiertes Bild 146 zu erzielen, indem die mindestens eine Korrekturmatrix 122 angewendet wird. Dieses Modul 140 wird später mit Bezug auf das beispielhafte Verfahren beschrieben. Die diversen Komponenten der Bildkorrekturvorrichtung 106 können alle über einen Bus 150 angeschlossen sein.
  • Weiter mit Bezug auf 1 können die tatsächlichen Daten eine Verarbeitung durch die Bildkorrekturvorrichtung 106 erfahren und können für den Benutzer in geeigneter Form auf einer GUI 148 in Kommunikation mit der Bildkorrekturvorrichtung 106 angezeigt werden. Die GUI 148 kann ein Display umfassen, um für die Benutzer Informationen anzuzeigen, wie etwa das korrigierte Bild 146 oder die Zulassungsnummer in dem korrigierten Bild, und kann eine Benutzereingabevorrichtung, wie etwa eine Tastatur oder einen Berührungs- oder beschreibbaren Bildschirm, um Anweisungen als Eingabe zu empfangen, und/oder eine Cursor-Steuerungsvorrichtung, wie etwa eine Maus, einen Trackball oder dergleichen, um dem Prozessor 130 Benutzereingabeinformationen und Befehlsauswahlen mitzuteilen, umfassen.
  • 2 ist ein Ablaufschema, das ein Verfahren 200 zum Korrigieren eines Bildes eines Nummernschildes beschreibt. Die Verfahren beginnt in Schritt S202. Das Verfahren umfasst das Trainieren (hier ebenfalls als „Kalibrieren” bezeichnet) einer Kamera in Schritt S204 in einer ersten Phase und das Korrigieren der Bilder von der Kamera in Schritt S206 (hier auch als „Bedienen der Kamera” bezeichnet) in einer zweiten Phase. Das Trainieren S202 umfasst das automatische Bestimmen in Schritt S208 eines ersten Satzes von Korrekturparametern, die einem Nummernschild entsprechen. Das Nummernschild umfasst ein schräg orientiertes Schild, was bedeutet, dass das Nummernschild im Stoßstangenbereich eines Fahrzeugs in einer im Allgemeinen geneigten Orientierung montiert ist. Das Trainieren S202 umfasst auch das automatische Bestimmen in Schritt S210 eines zweiten Satzes von Korrekturparametern, die einem gerade orientierten Schild entsprechen, was bedeutet, dass das Nummernschild im Stoßstangenbereich eines Fahrzeugs in einer im Allgemeinen senkrechten Position montiert ist. Im Allgemeinen sind vordere Nummernschilder gerade orientiert, während hinten montierte Nummernschilder schräg oder gerade orientiert sein können.
  • Weiter mit Bezug auf 2 umfasst das Korrigieren in Schritt S204 das Empfangen eines Eingabebildes in Schritt S212. Das Eingabebild umfasst ein Bild eines aufgenommenen Fahrzeug- oder Stoßstangenbereichs an dem Fahrzeug. Das Verfahren umfasst das Bestimmen, ob ein Nummernschild in dem Bild erkannt wird. Das Verfahren umfasst das automatische Verwenden des ersten Satzes Korrekturparameter, um das Bild in Schritt S214 einzustellen. Unter Verwendung der Parameter umfasst das Verfahren das Bestimmen in Schritt S216, ob das erkannte Bild ein schräg orientiertes Schild ist. Wenn die Bestimmung angibt, dass das erkannte Nummernschild kein schräg orientiertes Schild ist, dann umfasst das Verfahren das automatische Verwenden des zweiten Satzes von Korrekturparametern, um das Bild in Schritt S218 einzustellen. Das Verfahren endet in Schritt S220.
  • GEOMETRISCHE VERFORMUNG
  • Nahezu alle Nummernschilder sind rechteckig. In den meisten Bundesländern in den USA haben normale Autoschilder ähnliche Modelle, Gestaltungen und Dimensionen. Ferner sind schräge Schilder im Allgemeinen etwa im gleichen Winkel montiert.
  • Wenn Bilder von Schildern von der ALPR-Kamera aufgenommen werden, erfahren die Bilder eine perspektivische Verformung. 3 zeigt ein Beispiel eines hinten montierten Schildes 302, das in einem Bild 300 verformt ist, das ein aufgenommener hinterer Stoßstangenbereich an einem Fahrzeug 304 ist. Bei vielen ALPR-Anwendungen, wie etwa bei der Mauterhebung, kann man die Verformung 400 durch eine Scherungstransformation nähern, die in 4 gezeigt wird. Die Scherung kann mathematisch als zweidimensionale Matrix dargestellt werden:
    Figure 00140001
  • In der Scherungsmatrix SH sind shx und shy die Scherungsfaktoren jeweils in den Richtungen X und Y. Jede Scherungsmatrix weist eine Umkehrfunktion auf, und die Umkehrfunktion ist einfach eine Scherungsmatrix, deren Scherungselement negiert ist, was eine Scherungstransformation in der entgegengesetzten Richtung darstellt. Daraufhin kann die Scherung und/oder Verformung des Nummernschildes in dem aufgenommenen Bild durch Scherung des Schildes in die entgegengesetzte Richtung korrigiert werden.
  • Da vordere Schilder typischerweise gerade und rechtwinklig zu der Richtung, in der das Fahrzeug fährt, montiert sind, geht man davon aus, dass alle vorderen Schilder etwa in die gleiche Richtung zeigen. Eine Scherung der vorderen Schilder kann unter Verwendung einer einzigen Matrix genähert werden.
  • Wie erwähnt können jedoch hinten montierte Schilder entweder gerade oder schräg nach innen montiert sein. 5 zeigt ein Bild 500 eines hinteren Stoßstangenbereichs 502, der ein gerade orientiertes Schild 504 umfasst. Ähnlich zeigt 6 ein Bild 600 eines hinteren Stoßstangenbereichs 602, der ein schräg orientiertes Schild 604 umfasst. Für jede Orientierung wird eine andere Scherungsmatrix benötigt. Eine erste Korrekturmatrix (d.h. eine erste Scherungsmatrix) wird benötigt, um eine Scherungstransformation des schrägen Schildes darzustellen, und eine zweite Korrekturmatrix (d.h. eine zweite Scherungsmatrix) wird benötigt, um eine Scherungstransformation des geraden Schildes darzustellen.
  • Ähnlich wird die Skalierung ebenfalls während der Kalibrierung der erkannten Schilder in den aufgenommenen Bildern normiert. Eine Skalierungsmatrix, die ebenfalls umkehrbar ist, ist nachstehend dargestellt:
    Figure 00150001
  • Die Werte sx und sy sind die Skalierungsfaktoren in den Richtungen X und Y. Eine Kombination der Scherung und Skalierung kann man durch D=S SH darstellen.
  • Ziel der vorliegenden Offenbarung ist es, die durchschnittliche Verformung zu minimieren. Ziel der Offenbarung ist es, unter Verwendung einer Anzahl von Musterbildern mindestens einen Satz Korrekturparameter automatisch zu bestimmen. Die Korrekturparameter werden in einer Speichervorrichtung gespeichert, bis die Korrekturparameter anschließend auf ein Bild angewendet werden können. Im Allgemeinen werden die Korrekturparameter während der Trainingsphase in Schritt S202 bestimmt, die nachstehend auch als „Kalibrierungsphase” bezeichnet wird.
  • TRAININGSPHASE
  • Mit Bezug auf 7 wird ein Ablaufschema gezeigt, um die Kalibrierungsphase zu beschreiben, die verwendet wird, um die mindestens eine Korrekturmatrix zu bestimmen. Die Kalibrierung kann entweder rechnerabhängig oder rechnerunabhängig erfolgen. Das Verfahren beginnt mit Schritt S700. Eine Anzahl Musterbilder wird in Schritt S702 an der Trainingsvorrichtung empfangen (siehe 102 in 1). Die Bilder werden bevorzugt mit der Kamera aufgenommen, die kalibriert werden soll. Wie bereits erwähnt, können die Musterbilder der Trainingsvorrichtung in einem elektronischen Format bereitgestellt werden. Die Musterbilddaten können der Trainingsvorrichtung als Eingabe aus einer beliebigen geeigneten Quelle bereitgestellt werden. Die Musterbilder umfassen jeweils ein Musternummernschild und/oder einen Stoßstangenbereich, der das Musternummernschild umfasst.
  • Die ALPR-Kamera, die in Schritt S702 zum Kalibrieren ausgewählt wird, kann über den gesamten Bereich betätigt werden, wenn die Musterschildbilder aufgenommen werden. Mit anderen Worten kann die Kamera nach Musterschildern suchen, die alle möglichen Scherungs- und Skalierungsparameter umfassen. Es werden jedoch Ausführungsformen in Betracht gezogen, bei denen die ALPR-Kamera mit einem eingeschränkten Suchbereich funktioniert. Wenn die Musterbilder von einer ALPR-Kamera bereitgestellt werden, die in einem beschränkten Suchbereich funktioniert, kann der Bereich in Schritt S704 ausgedehnt werden, indem man das Eingabebild voreinstellt.
  • Für eine ALPR-Kamera, die nur einen Maßstab in einem ersten Bereich handhabt, kann das Eingabebild um einen Faktor vorskaliert werden, der es der Kamera ermöglicht, mit einem Maßstab eines geänderten Bereichs zu funktionieren. Der geänderte Bereich kann niedrigere und höhere Werte aufweisen, die Produkte des Faktors und die jeweiligen unteren und oberen Werte des ersten Bereichs sind. Die Ergebnisse des ersten Bereichs und des geänderten Bereichs können kombiniert werden, um einen größeren Bereich zu erzeugen, der einen unteren Wert aufweist, welcher der untere Wert des ersten Bereichs ist, und der einen oberen Wert aufweist, welcher der obere Wert des geänderten Bereichs ist. Bei einem erläuternden Beispiel, das eine ALPR-Kamera verwendet, die nur einen Maßstab im Bereich von 0,8 bis 1,2 handhabt, kann es eine Vorskalierung des Eingabebildes um einen gewissen Faktor, beispielsweise um 2/3, der Kamera ermöglichen, mit einem Maßstab von 1,2 bis 1,8 zu funktionieren. Durch die Kombination der Ergebnisse, die in dem Originalbild und dem vorskalierten Bild erkannt werden, beträgt der effektive Bereich 0,8 bis 1,8.
  • Die Vorskalierung in Schritt S704 kann bei einem anderen Beispiel um einen Faktor 4/9 eingestellt werden. In diesem Fall kann ein ursprünglicher Maßstab im Bereich von 0,8 bis 1,2 ausgedehnt werden, um im Bereich von 0,8 bis 2,7 zu funktionieren. Durch Voreinstellen des Eingabebildes unter Verwendung unterschiedlicher Skalierungs- und Scherungsparameter kann der Bereich der ALPR-Kamera erheblich ausgedehnt werden.
  • Weiter mit Bezug auf 7 werden die Koordinaten jeder der vier Ecken jedes Musternummernschildes in einer ersten der Gruppen für die Musterbilder in Schritt S708 bestimmt. Die Koordinaten umfassen die XY-Koordinaten für die Ecke unten links (xi1, yi1), die Ecke unten rechts (xi2, yi2), die Ecke oben links (xi3, yi3) und die Ecke oben rechts (xi4, yi4) jeder i. Platte. Diese Ecken kann man als Teil der Zwischen- oder End-ALPR-Ausgaben erzielen. Bei einer anderen Ausführungsform können die Koordinaten jedoch bestimmt werden, indem die vier Grenzen des Musterschildes erkannt werden und dann die Schnittpunkte der Grenzen berechnet werden. Zum Erkennen der Grenzen, kann eine Hough-Transformation verwendet werden.
  • Weiter mit Bezug auf 7 werden die Differenzen (dxi1, dxi2, dxi3, dxi4, dyi1, dyi2, dyi3, dyi4) zwischen den Koordinaten für jedes Musternummernschild in Schritt S710 berechnet. Die Differenzen werden unter Verwendung der folgenden Gleichungen bestimmt.
    Figure 00180001
  • Weiter mit Bezug auf 7 werden die berechneten Differenzen verwendet, um in Schritt S712 einen Merkmalssatz Vi für jedes Musternummernschild zu bestimmen. Genauer gesagt verwendet die Bestimmung dxij/dyij, was in Gleichung (3) als Merkmalssatz definiert ist, wobei i der Bildindex und j = 1–4 ist. Der Merkmalssatz Vi ist eine 2 × 4-Matrix, welche die Geometrie des i. Musterschildes vorgibt. Der Merkmalssatz für ein i. Schild wird wie folgt definiert:
    Figure 00190001
  • Die Merkmale messen das Ausmaß der Scherung. Für hintere Schilder werden die Messungen in zwei Gruppen zusammengefasst. Die Cluster-Bildung kann unter Verwendung bestehender Verfahren erzielt werden, wie beispielsweise anhand eines K-Means-Algorithmus.
  • Weiter mit Bezug auf 7 wird in Schritt S714 auch ein Merkmalssatz D für eine ideale Schildgeometrie bestimmt. Der Merkmalssatz D wird durch eine 2 × 4-Matrix dargestellt, die ein Rechteck definiert, wobei w und h die ideale Breite und Höhe des Rechtecks sind:
    Figure 00190002
  • Weiter mit Bezug auf 7 wird in Schritt S716 eine korrigierte Schildgeometrie CVi für jedes Musterschild bestimmt, wobei C die Matrix ist und Vi der Merkmalssatz ist, der die ursprüngliche Schildgeometrie beschreibt. Die korrigierte Schildgeometrie wird durch Matrixmultiplikation erzielt. Anschließend wird in Schritt S718 ein Abstand zwischen der korrigierten Schildgeometrie und der idealen Schildgeometrie bestimmt, und wird durch ||CVi – D|| dargestellt. Das mathematische Symbol „||” bezeichnet die Frobeniusnorm, welche die Quadratsumme aller Matrixelemente ist, die für die Anzahl der Musterschilder bestimmt werden.
  • Weiter mit Bezug auf 7 wird in Schritt 720 eine Korrekturmatrix bestimmt. Die Korrekturmatrix ist eine zweidimensionale Korrekturmatrix, die durch die Gleichung: C = arg minCi||CVi – D|| (6) dargestellt wird, wobei i der Nummernschildindex ist und die Summierung über alle Nummernschilder geht. Genauer gesagt wird die Optimierung für jedes Cluster getrennt ausgeführt. Es werden zwei Matrizen C1 und C2 berechnet, um jeweils schräge Schilder und gerade Schilder zu korrigieren. Die Optimierung in Gleichung (6) wird nachstehend beschrieben, um zu bestimmen, wie eine Matrix unter Verwendung einer Methode der kleinsten Quadrate erzielt werden kann. Genauer gesagt ist ein Vektor c’ ein Vektor, der die Elemente der Matrix C enthält. c' = [C11 C12 C21 C22] (7)
  • Weiter mit Bezug auf 7 wird eine 4 × 8N-Matrix V’ gebildet, die Schildinformationen für eine Anzahl N von Musternummernschildern in Schritt S720 enthält. Genauer gesagt wird die Matrix V’ nur unter Verwendung von Schildern, die zu demselben Cluster gehören, aufgebaut. Die Matrix V’ wird durch folgende Gleichung dargestellt:
    Figure 00200001
  • Anschließend wird in Schritt S722 ein Vektor D’ als einen 8N-Vektor umfassend bestimmt, der die ideale Geometrie für die Anzahl N von Musterschildern in dem Cluster vorgibt. Der Vektor D’ wird durch die Gleichung:
    Figure 00210001
    dargestellt, wobei T eine Matrixtransponierte ist.
  • Weiter mit Bezug auf 7 wird die Lösung der kleinsten Quadrate für den Vektor c’ in Schritt S724 wie folgt bestimmt: c' = (V'V'T)–1V'D' (10)
  • Anschließend wird die Korrekturmatrix C1, C2 für das zweite Cluster bestimmt. Das Verfahren endet in Schritt S726.
  • BETRIEBSPHASE
  • Die Korrekturmatrizen C1, C2, die in der Trainingsphase bestimmt wurden, werden in der Speichervorrichtung gespeichert, bis die kalibrierte Kamera in Betrieb genommen wird. Im Allgemeinen wird die kalibrierte Kamera an einer ausgewählten Stelle in einer Transportinfrastruktur positioniert, um es der Kamera zu ermöglichen, Bilder von Nummernschildern zu lokalisieren und/oder aufzunehmen. Die Kamera wird verwendet, um den Fahrzeugverkehrsfluss zu überwachen, und das Bild wird verwendet, um die Nummern der Nummernschilder an den Fahrzeugen zu identifizieren.
  • 8 zeigt ein Ablaufschema, das einen Vorgang zum Korrigieren eines Bildes 800 beschreibt, das von der Kamera aufgenommen wird, und genauer gesagt zum Identifizieren der Nummer eines Nummernschildes, das in dem Bild enthalten ist. Das Verfahren beginnt in Schritt S802. Die Bildaufnahmevorrichtung, die unter Verwendung des Prozesses kalibriert wurde, der in 7 beschrieben wurde, wird in Schritt S804 bereitgestellt. Ein Eingabebild (nachstehend als „wirkliches Bild” bezeichnet) wird in Schritt S806 an der Bildkorrekturvorrichtung (siehe 106 in 1) von der kalibrierten Kamera empfangen.
  • Weiter mit Bezug auf 8 kann das wirkliche Bild in Schritt S808 eingestellt werden, wenn die kalibrierte Kamera einen Maßstab in einem eingeschränkten Bereich handhabt. Das Verfahren des Einstellens des wirklichen Bildes ist analog zu dem Vorgang der Vorskalierung, der als Schritt S704 in 7 beschrieben wurde. Die Korrektur fährt mit der Verwendung der Korrekturmatrix fort, die in der Trainingsphase bestimmt wurde, um das Bild einzustellen. Die Einstellung wird folgendermaßen vorgenommen v'(x, y) = v[(x', y')] (11) wobei v(.,.) und v’(.,.) jeweils eingegebene und korrigierte Bilder sind und (x’, y’) folgendermaßen berechnet wird
    Figure 00220001
  • Wenn mindestens einer der Werte x’ und y’ keine Ganzzahl ist, wird v(x’, y’) aus seinen nächsten Nachbarn bestimmt, beispielsweise unter Verwendung einer linearen Interpolation.
  • Für die hinteren Schilder wird die Matrix zum Korrigieren der schrägen Schilder zuerst in Schritt S810 angewendet. Wenn die ALPR kein Schild erkennt, wird das Eingabebild in Schritt S812 wieder unter Verwendung der Matrix für die geraden Schilder eingestellt. Dieser Prozess ermöglicht es dem System, die Schilder für beide Fälle zu erkennen. Das Verfahren endet in Schritt S814.
  • 9 zeigt eine Reihe Bilder von Schildern, bevor und nachdem die Korrektur auf das aufgenommene Bild angewendet wird bzw. wurde. Die durchsichtig gezeigten Bilder umfassen die Umrisse der ursprünglichen Schilder, die von der Bildaufnahmevorrichtung empfangen werden. Die ersten dreizehn Schilder definieren schräge Schilder. Die letzten sieben Schilder definieren gerade orientierte Schilder. Die Originalbilder sind den korrigierten Bildern überlagert, die mit durchgezogenen Linien gezeigt werden. Es ist ersichtlich, dass die Korrekturen dazu neigen, die Orientierung des Schildes zu einem im Wesentlichen idealen Rechteck zu korrigieren.
  • AUSGLEICH FÜR ABWEICHUNG
  • Nach der anfänglichen Kalibrierung kann das System die ALPR-Ergebnisse weiter überwachen und eine Parameterabweichung erkennen. Nach einem vorherbestimmten Zeitraum, wie beispielsweise alle 24 Stunden oder alle fünf Minuten, kann das System den in 7 beschriebenen Prozess wiederholen, um die Korrekturmatrizen unter Verwendung der neuesten ALPR-Detektionsdaten neu zu berechnen und zu aktualisieren. Das System kann auch eine Warnung senden, wenn die Abweichung eine voreingestellte Schwelle oder Grenze überschreitet.
  • Ein Aspekt der vorliegenden Offenbarung ist eine deutliche Reduzierung des Suchbereichs für die ALPR. Das vorliegende System reduziert die rechnerischen Kosten, die mit der Schildkorrektur verknüpft sind. Das System verbessert ferner die Fehlerquote, die mit falschen Positivmeldungen verknüpft ist. Ein weiterer Aspekt des Systems ist eine Bildaufnahmevorrichtung, die dazu geeignet ist, um die Vorbereitungsparameter im Verlauf der Zeit selber einzustellen, um eine Abweichung der geometrischen und Kameraparameter auszugleichen.
  • BEISPIELHAFTE UMSETZUNG
  • Eine beispielhafte Umsetzung der Betriebsphase wird als aufgenommene Bilder und Ergebnisse in 10A–B und 11A–B abgebildet. 10A und 10B zeigen zwei Eingabebilder, die von einer kalibrierten Bildaufnahmevorrichtung aufgenommen wurden. 10A zeigt ein Bild eines ursprünglichen Nummernschildes, das aufgenommen wurde und eine gerade Montage aufweist. Wie es aus der Figur hervorgeht, ist das Schild gerade montiert, doch das Fahrzeug, an dem das Schild montiert ist, ist mit Bezug auf die Bildaufnahmevorrichtung in einem Winkel positioniert. Auf diese Art und Weise wird das Schild an seinen waagerechten Achsen entlang in einem Winkel aufgenommen.
  • 10B zeigt ein Bild eines ursprünglichen Nummernschildes, das aufgenommen wurde und eine schräge Montage aufweist. Wie es aus der Figur hervorgeht, ist das Schild mit einer Neigung montiert, so dass es mit Bezug auf die Kamera entlang seinen senkrechten Achsen angewinkelt ist. Wie es ferner in der Figur zu sehen ist, ist das Fahrzeug, an dem das Schild montiert ist, mit Bezug auf die Bildaufnahmevorrichtung in einem Winkel positioniert. Auf diese Art und Weise wird das Schild ebenfalls an seinen waagerechten Achsen entlang in einem Winkel aufgenommen.
  • Diese Bilder wurden unter Verwendung des Vorgangs getestet, der für 8 beschrieben wird. 11A und 11B entsprechen dem korrigierten Bild, nachdem es dem Prozess unterzogen wurde. 11A zeigt das korrigierte Schild für das in 10A gezeigte gerade Bild. Wie ersichtlich, wird das korrigierte Schild als ein im Allgemeinen rechteckiges Ausgabebild mit vier Ecken bereitgestellt, die jeweils einen Winkel von im Wesentlichen 90 Grad aufweisen. Ähnlich wird das in 11B gezeigte korrigierte Bild für das schräge Schild aus 10B auch mit einer im Allgemeinen rechteckigen, d.h. idealen, Form gezeigt und mit vier Winkeln von im Wesentlichen 90 Grad.

Claims (10)

  1. Verfahren zum Einstellen eines Nummernschildes, das in einem aufgenommenen Bild erkannt wird, wobei das Verfahren folgende Schritte umfasst: automatisches Bestimmen mindestens eines Satzes Korrekturparameter, die einem schräg orientierten Schild entsprechen; Empfangen eines Eingabebildes, das ein erkanntes Nummernschild darstellt; als Reaktion auf den Empfang des Eingabebildes, automatisches Einstellen des Eingabebildes, um unter Verwendung des mindestens einen Satzes Korrekturparameter ein korrigiertes Bild zu erzielen.
  2. Verfahren nach Anspruch 1, wobei das Einstellen ferner Folgendes umfasst: Bestimmen, ob das schräg orientierte Schild erkannt wurde, nachdem der erste Satz Korrekturparameter angewendet wurde; als Reaktion darauf, dass das schräg orientierte Schild nicht bestimmt wurde, Anwenden mindestens eines zweiten Satzes Korrekturparameter, die einem gerade orientierten Schild entsprechen.
  3. Verfahren nach Anspruch 1, wobei das Einstellen Folgendes umfasst: Anwenden einer Matrix, wenn das Eingabebild ein vorderes Schild umfasst, und Anwenden von zwei Matrizen, wenn das Eingabebild ein hinteres Schild umfasst.
  4. Verfahren nach Anspruch 1, wobei das Einstellen Folgendes umfasst: Skalieren des erkannten Schildes in dem Eingabebild auf eine vorherbestimmte Größe; und Einstellen des erkannten Schildes in dem Eingabebild, um die Verformung auszugleichen.
  5. Verfahren nach Anspruch 1, wobei das Bereitstellen der mindestens einen Korrekturmatrix Folgendes umfasst: Bereitstellen einer Bildaufnahmevorrichtung; Empfangen von Bildern einer Anzahl N von Nummernschildern, die von der Bildaufnahmevorrichtung aufgenommen werden; Bestimmen der XY-Koordinaten für jede der vier Ecken jedes Nummernschildes, das in den Bildern aufgenommen wird; Bestimmen von Korrekturmatrizen unter Verwendung einer Optimierung.
  6. Verfahren nach Anspruch 5, wobei das Bestimmen der Korrekturmatrizen Folgendes umfasst: Bestimmen eines Merkmalssatzes durch Berechnen der Differenzen zwischen den XY-Koordinaten der vier Ecken; Bestimmen einer Geometriematrix Vi ursprünglichen Schild aus dem Merkmalssatz; Bestimmen einer idealen Schildgeometrie D, wobei die Vektoren der Matrix D durch die Höhe und Breite eines idealen rechteckigen Schildes definiert sind; Bestimmen einer korrigierten Schildgeometrie CVi; Bestimmen eines Abstandes zwischen der korrigierten Schildgeometrie und der idealen Schildgeometrie durch Subtrahieren der idealen Schildgeometrie von der korrigierten Schildgeometrie (CVi-D); und, Bestimmen der Korrekturmatrix C durch Quadrieren einer Summe aller Matrixelemente für die Nummernschilder.
  7. Verfahren nach Anspruch 5, wobei das Bereitstellen der mindestens einen Korrekturmatrix ferner Folgendes umfasst: Bestimmen einer Matrix V’, welche die Schildinformationen für die Anzahl N von Schildern enthält; Bestimmen einer idealen Schildgeometrie D’; und Berechnen des Vektors c’ unter Verwendung der Matrix V’ und der Matrix D’.
  8. Verfahren nach Anspruch 7, wobei die Anzahl N von Schildern alle eines von einem gerade orientierten und einem schräg orientierten Schild umfassen.
  9. Verfahren nach Anspruch 7, wobei das Bestimmen der idealen Schildgeometrie D’ Folgendes umfasst: Vorgeben einer idealen Höhe und Breite der Anzahl N von Nummernschildern.
  10. System zum Einstellen eines Eingabebildes, wobei das System Folgendes umfasst: eine Trainingsvorrichtung, die geeignet ist zum: Empfangen von Bildern von einer Anzahl N von Schildern, Bestimmen einer Matrix V’, die Merkmalssätze für jedes der Anzahl N von Schildern enthält, Bestimmen einer idealen Geometriematrix D’ durch Vorgeben von Merkmalssätzen für Höhe und Breite von N idealen Schildern, und Berechnen einer Korrekturmatrix unter Verwendung der Matrix V’ und der idealen Geometrie D’; eine Speichervorrichtung in Kommunikation mit der Trainingsvorrichtung, wobei die Speichervorrichtung dazu geeignet ist, um die mindestens eine Korrekturmatrix zu speichern; eine Eingabevorrichtung, die dazu geeignet ist, um ein Bild eines erkannten Nummernschildes aufzunehmen; eine Korrekturvorrichtung in Kommunikation mit der Eingabevorrichtung und der Speichervorrichtung, wobei die Korrekturvorrichtung geeignet ist zum: Empfangen des aufgenommenen Bildes, das von der Eingabevorrichtung übertragen wird, und als Reaktion auf das Empfangen des Eingabebildes, automatisches Einstellen des Eingabebildes v[(x’, y’)], um ein korrigiertes Bild v’(x, y) durch Anwenden der mindestens einen Korrekturmatrix zu erzielen; eine Schnittstelle in Kommunikation mit der Korrekturvorrichtung, wobei die Schnittstelle dazu geeignet ist, um das korrigierte Bild anzuzeigen.
DE102013210478.2A 2012-06-12 2013-06-05 Geometrische vorkorrektur zur automatischen nummernschilderkennung Active DE102013210478B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/494,302 US9020200B2 (en) 2012-06-12 2012-06-12 Geometric pre-correction for automatic license plate recognition
US13/494,302 2012-06-12

Publications (2)

Publication Number Publication Date
DE102013210478A1 true DE102013210478A1 (de) 2013-12-12
DE102013210478B4 DE102013210478B4 (de) 2023-10-26

Family

ID=49626057

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013210478.2A Active DE102013210478B4 (de) 2012-06-12 2013-06-05 Geometrische vorkorrektur zur automatischen nummernschilderkennung

Country Status (3)

Country Link
US (1) US9020200B2 (de)
JP (1) JP6091325B2 (de)
DE (1) DE102013210478B4 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427937A (zh) * 2019-07-18 2019-11-08 浙江大学 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10579892B1 (en) 2014-06-27 2020-03-03 Blinker, Inc. Method and apparatus for recovering license plate information from an image
US9607236B1 (en) 2014-06-27 2017-03-28 Blinker, Inc. Method and apparatus for providing loan verification from an image
US10540564B2 (en) 2014-06-27 2020-01-21 Blinker, Inc. Method and apparatus for identifying vehicle information from an image
US9754171B1 (en) 2014-06-27 2017-09-05 Blinker, Inc. Method and apparatus for receiving vehicle information from an image and posting the vehicle information to a website
US10867327B1 (en) 2014-06-27 2020-12-15 Blinker, Inc. System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate
US9589201B1 (en) 2014-06-27 2017-03-07 Blinker, Inc. Method and apparatus for recovering a vehicle value from an image
US9563814B1 (en) 2014-06-27 2017-02-07 Blinker, Inc. Method and apparatus for recovering a vehicle identification number from an image
US9779318B1 (en) 2014-06-27 2017-10-03 Blinker, Inc. Method and apparatus for verifying vehicle ownership from an image
US9600733B1 (en) 2014-06-27 2017-03-21 Blinker, Inc. Method and apparatus for receiving car parts data from an image
US9760776B1 (en) 2014-06-27 2017-09-12 Blinker, Inc. Method and apparatus for obtaining a vehicle history report from an image
US10733471B1 (en) 2014-06-27 2020-08-04 Blinker, Inc. Method and apparatus for receiving recall information from an image
US9818154B1 (en) 2014-06-27 2017-11-14 Blinker, Inc. System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate
US9594971B1 (en) 2014-06-27 2017-03-14 Blinker, Inc. Method and apparatus for receiving listings of similar vehicles from an image
US9773184B1 (en) 2014-06-27 2017-09-26 Blinker, Inc. Method and apparatus for receiving a broadcast radio service offer from an image
US9589202B1 (en) 2014-06-27 2017-03-07 Blinker, Inc. Method and apparatus for receiving an insurance quote from an image
US10515285B2 (en) 2014-06-27 2019-12-24 Blinker, Inc. Method and apparatus for blocking information from an image
US9558419B1 (en) 2014-06-27 2017-01-31 Blinker, Inc. Method and apparatus for receiving a location of a vehicle service center from an image
US10572758B1 (en) 2014-06-27 2020-02-25 Blinker, Inc. Method and apparatus for receiving a financing offer from an image
US9892337B1 (en) 2014-06-27 2018-02-13 Blinker, Inc. Method and apparatus for receiving a refinancing offer from an image
US10323450B2 (en) * 2015-10-20 2019-06-18 Hi-Tech Solutions Ltd. Cloud-base ANPR management
US10198954B2 (en) 2015-12-30 2019-02-05 Motorola Solutions, Inc. Method and apparatus for positioning an unmanned robotic vehicle
US10068146B2 (en) 2016-02-25 2018-09-04 Conduent Business Services, Llc Method and system for detection-based segmentation-free license plate recognition
CN106127248A (zh) * 2016-06-24 2016-11-16 平安科技(深圳)有限公司 基于深度学习的车牌分类方法及系统
CN106127206B (zh) * 2016-06-28 2019-04-05 北京智芯原动科技有限公司 一种车牌的竖直角度检测方法及装置
WO2020133464A1 (en) * 2018-12-29 2020-07-02 Zhejiang Dahua Technology Co., Ltd. Systems and methods for license plate recognition
CN111339846B (zh) * 2020-02-12 2022-08-12 深圳市商汤科技有限公司 图像识别方法及装置、电子设备和存储介质
TWI818535B (zh) * 2022-05-04 2023-10-11 博遠智能科技股份有限公司 車牌辨識系統及方法
CN114882489B (zh) * 2022-07-07 2022-12-16 浙江智慧视频安防创新中心有限公司 一种对旋转车牌进行水平校正方法、装置、设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07114689A (ja) * 1993-10-18 1995-05-02 Nippon Signal Co Ltd:The 車両登録番号認識方法
JPH08320990A (ja) * 1995-05-26 1996-12-03 Japan Radio Co Ltd 車番読み取り装置
JP4187458B2 (ja) * 2002-04-23 2008-11-26 池上通信機株式会社 画像処理におけるアフィン変換係数算出方法および画像処理装置
US20120275653A1 (en) * 2011-04-28 2012-11-01 Industrial Technology Research Institute Method for recognizing license plate image, and related computer program product, computer-readable recording medium, and image recognizing apparatus using the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427937A (zh) * 2019-07-18 2019-11-08 浙江大学 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法
CN110427937B (zh) * 2019-07-18 2022-03-22 浙江大学 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法

Also Published As

Publication number Publication date
JP6091325B2 (ja) 2017-03-08
US20130329961A1 (en) 2013-12-12
JP2013257864A (ja) 2013-12-26
US9020200B2 (en) 2015-04-28
DE102013210478B4 (de) 2023-10-26

Similar Documents

Publication Publication Date Title
DE102013210478B4 (de) Geometrische vorkorrektur zur automatischen nummernschilderkennung
DE102013205810B4 (de) System und verfahren zum einschätzen von verfügbaren parkplätzen zum parken auf der strasse mit mehreren plätzen
DE112019002547B4 (de) System und verfahren zum bestimmen eines standortes zur platzierung eines pakets
DE102011106050B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads
CN109389135B (zh) 一种图像筛选方法及装置
DE102015207676A1 (de) Verfahren und Vorrichtung zur Hinderniserkennung auf Basis einer monokularen Kamera
DE112020005377B4 (de) Systeme und verfahren zur automatischen kamerainstallationsführung
DE102016120775A1 (de) System und Verfahren zum Erkennen von Linien in einem Bild mit einem Sichtsystem
DE102017220307B4 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
DE102016013274A1 (de) Bildverarbeitungsvorrichtung und verfahren zur erkennung eines bilds eines zu erkennenden objekts aus eingabedaten
DE102019106277A1 (de) Bildanalysevorrichtung, -verfahren und -programm
DE60217589T2 (de) Vorrichtung und Verfahren zur Detektion von weissen Linien
DE102020216406A1 (de) Inspektionssystem und verfahren für fahrzeugunterboden
DE102018113992A1 (de) Verfahren und Gerät zum Erfassen einer Fahrspur
DE112020003158T5 (de) Trainingsverfahren für ein Zielerfassungsmodell, Verfahren und Vorrichtung zur Kennzeichnung der Daten
DE102011106072A1 (de) Schattenentfernung in einem durch eine fahrzeugbasierte kamera erfassten bild unter verwendung einer optimierten ausgerichteten linearen achse
DE112008002646T5 (de) Fahrzeuginterne Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm
DE10354752A1 (de) Verfahren und Vorrichtung zur automatischen Entzerrung von einkanaligen oder mehrkanaligen Bildern
DE102019124810A1 (de) Bildverarbeitungsgerät und Bildverarbeitungsverfahren
DE112013004103T5 (de) Verfahren und Vorrichtung zum Erzeugen einer Disparitätskarte
DE102017116853A1 (de) System und Verfahren zur automatischen Auswahl von 3D-Ausrichtungsalgorithmen in einem Sehsystem
DE102019106398A1 (de) Bildanalysevorrichtung, verfahren und programm
DE102015122116A1 (de) System und Verfahren zur Ermittlung von Clutter in einem aufgenommenen Bild
DE102022102934A1 (de) Ereignisbasierte fahrzeugposenschätzung unter verwendung monochromatischer bildgebung
EP2562681A1 (de) Objektverfolgungsverfahren für ein Kamerabasiertes Fahrerassistenzsystem

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: GRUENECKER, KINKELDEY, STOCKMAIR & SCHWANHAEUS, DE

Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE

R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: CONDUENT BUSINESS SERVICES, LLC, FLORHAM PARK, US

Free format text: FORMER OWNER: XEROX CORPORATION, NORWALK, CONN., US

Owner name: CONDUENT BUSINESS SERVICES, LLC (N.D.GES.D. ST, US

Free format text: FORMER OWNER: XEROX CORPORATION, NORWALK, CONN., US

R082 Change of representative

Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE

R081 Change of applicant/patentee

Owner name: CONDUENT BUSINESS SERVICES, LLC, FLORHAM PARK, US

Free format text: FORMER OWNER: CONDUENT BUSINESS SERVICES, LLC (N.D.GES.D. STAATES DELAWARE), DALLAS, TEX., US

R082 Change of representative

Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06V0030190000

Ipc: G06V0020540000

R016 Response to examination communication
R018 Grant decision by examination section/examining division