DE102013210478A1 - Geometrische vorkorrektur zur automatischen nummernschilderkennung - Google Patents
Geometrische vorkorrektur zur automatischen nummernschilderkennung Download PDFInfo
- Publication number
- DE102013210478A1 DE102013210478A1 DE102013210478A DE102013210478A DE102013210478A1 DE 102013210478 A1 DE102013210478 A1 DE 102013210478A1 DE 102013210478 A DE102013210478 A DE 102013210478A DE 102013210478 A DE102013210478 A DE 102013210478A DE 102013210478 A1 DE102013210478 A1 DE 102013210478A1
- Authority
- DE
- Germany
- Prior art keywords
- correction
- matrix
- shield
- image
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 51
- 230000004044 response Effects 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 65
- 238000012549 training Methods 0.000 claims description 34
- 238000004891 communication Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 11
- 238000003702 image correction Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000010008 shearing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Character Input (AREA)
- Geometry (AREA)
Abstract
Description
- Die vorliegende Offenbarung betrifft ein Verfahren und Gerät zum automatischen Einstellen eines Nummernschildes, das in einem aufgenommenen Bild erkannt wird, so dass die Zulassungsnummer analysiert und identifiziert werden kann. Es versteht sich, dass die vorliegenden Ausführungsbeispiele auch für andere ähnliche Anwendungen abänderbar sind. Ein System zur automatischen Nummernschilderkennung (ALPR) ist ein verkehrstechnisches Überwachungssystem, das unter Verwendung einer Standbild- oder Videokamera Bilder von fahrenden oder parkenden Fahrzeugen aufnimmt. Das System lokalisiert ein Nummernschild in dem Bild und verwendet die optische Zeichenerkennung (OCR), um die Nummer des Nummernschildes zu bestimmen. Das ALPR-System funktioniert häufig als Kernmodul für ein intelligentes Transportinfrastruktursystem, da seine zahlreichen Verwendungen die Überwachung des Verkehrsflusses, die Einhaltung von Verkehrsregeln und die Verfolgung von verdächtigen Kriminellen umfassen kann.
- Eine Herausforderung für die ALPR-Technology ist ihre Robustheit gegen geometrische Variationen. Die Position einer Kamera, wie etwa der Einfallswinkel zwischen der Kamera und einer angestrebten Aufnahmefläche, und die Parameter der Kamera können die Qualität des aufgenommenen Bildes auf Grund einer Verformung beeinträchtigen. Das Nummernschild in dem Bild kann durch einen anderen Maßstab, einen anderen Drehwinkel oder eine andere geometrische Verformung beeinträchtigt werden. Obwohl die meisten ALPR-Kameras sorgfältig positioniert sind, um eine perspektivische Verformung zu minimieren, ist eine starke Scherung immer noch ein übliches Ergebnis.
- Eine mögliche Lösung für die Verformung besteht darin, einen ALPR-Algorithmus zu entwerfen, der für geometrische Änderungen unveränderlich ist. Eine derartige Lösung wird jedoch häufig durch höhere rechnerische Kosten und andere Bedingungen verhindert, wie beispielsweise eine reduzierte Genauigkeit bei der Detektion. Im Allgemeinen sind die inhärente rechnerische Komplexität und die rechnerischen Kosten eines Systems proportional zum Produkt des Suchbereichs für jeden geometrischen Parameter.
- Für viele ALPR-Anwendungen, wie etwa die Überwachung von Mautschlagbäumen auf Mautstraßen, ist die geometrische Konfiguration gewöhnlich feststehend oder weist eine beschränkte Variation für jede Kamera auf. Daher sind herkömmliche ALPR-Systeme auf eine Benutzereingabe angewiesen, um einen Suchbereich zu reduzieren. Beispielsweise kann das System einen Benutzer auffordern, die erwartete minimale und maximale Höhe der Nummernschilder in den Eingabebildern vorzugeben. Das System verwendet die empfangenen Informationen als Benutzereingaben, um den Maßstab zu bestimmen. Das System kann auch einen erwarteten maximalen Schildwinkel als Benutzereingabe empfangen.
- Es gibt mehrere Nachteile und Einschränkungen für die Umsetzung des Empfangs von Benutzereingaben zu Analysezwecken. Die Benutzer müssen eine gewisse Bildverarbeitungskenntnis besitzen, um die Plattenhöhe und den Drehwinkel zu messen, die in den Bildern enthalten sind, während gewisse Parameter, wie etwa die Scherung, nicht ohne Weiteres von den Benutzern zu erzielen sind. Diese Vorgehensweise erfordert auch eine erhebliche Menge Arbeit, welche die Benutzer ausführen müssen. Ferner können die manuellen Eingaben, die von den Benutzern bereitgestellt werden, falsch oder ungenau sein. Das System kann daher auf ungenaue Messungen angewiesen sein, um seine Analyse auszuführen. Daher besteht ein Bedarf an einem Verfahren und einem Gerät, welche die Bilder der Nummernschilder, die in aufgenommenen Bildern erkannt werden, automatisch anpassen.
- Ein anderer Nachteil der herkömmlichen Vorgehensweise besteht darin, dass die eigentlichen geometrischen und Kameraparameter im Verlauf der Zeit abweichen können. Beispielsweise kann die Kamera aus ihrer ursprünglichen Position heraus kippen. Entsprechend werden ein Verfahren und Gerät benötigt, welche die Parameter einer ALPR-Kamera automatisch kalibrieren, um die Verschiebung im Verlauf der Zeit auszugleichen. Auf diese Art und Weise ist das System dazu geeignet, um im Voraus automatisch das Ausmaß der Scherung zu schätzen, das von einem aufgenommenen Bild zu erwarten ist, bevor ein Fahrzeug an der Bildaufnahmevorrichtung ankommt. Entsprechend wird ein System benötigt, das dazu geeignet ist, um Scherungsmuster in einer Bildaufnahmevorrichtung zu schätzen.
- Eine erste Ausführungsform der vorliegenden Offenbarung betrifft ein Verfahren zum Einstellen eines Nummernschildes, das in einem aufgenommenen Bild erkannt wird. Das Verfahren umfasst das automatische Bestimmen mindestens eines Satzes Korrekturparameter, die einem schräg orientierten Nummernschild entsprechen. Das Verfahren umfasst ferner das Empfangen eines Eingabebildes, das ein erkanntes Nummernschild darstellt. Als Reaktion auf den Empfang des Eingabebildes umfasst das Verfahren das automatische Einstellen des Eingabebildes, um unter Verwendung des mindestens einen Satzes Korrekturparameter ein korrigiertes Bild zu erzielen.
- Eine andere Ausführungsform der Offenbarung betrifft ein System zum Einstellen eines Eingabebildes. Das System umfasst eine Eingabevorrichtung, die dazu geeignet ist, um ein Bild eines Nummernschildes aufzunehmen. Das System umfasst ferner eine Korrekturvorrichtung in Kommunikation mit der Eingabevorrichtung. Die Korrekturvorrichtung ist dazu geeignet, um das Eingabebild zu empfangen, das von der Eingabevorrichtung übertragen wird. Als Reaktion auf den Empfang des Eingabebildes ist die Korrekturvorrichtung ferner dazu geeignet, um das Eingabebild automatisch einzustellen, um ein korrigiertes Bild zu erzielen, indem mindestens eine Korrekturmatrix angewendet wird. Das System umfasst eine Speichervorrichtung in Kommunikation mit der Korrekturvorrichtung. Die Speichervorrichtung ist dazu geeignet, um die mindestens eine Korrekturmatrix zu speichern. Das System umfasst ferner eine Schnittstelle in Kommunikation mit der Korrekturvorrichtung, wobei die Schnittstelle dazu geeignet ist, um das korrigierte Bild anzuzeigen.
- Eine weitere Ausführungsform der Offenbarung betrifft ein System zum Einstellen eines Eingabebildes. Das System umfasst eine Trainingsvorrichtung, die dazu geeignet ist, um Bilder einer Reihe von Schildern zu empfangen. Die Trainingsvorrichtung ist dazu geeignet, um eine Matrix zu bestimmen, die Merkmalssätze für jedes der Reihe von Schildern enthält. Die Trainingsvorrichtung ist ferner dazu geeignet, um eine ideale Geometriematrix zu bestimmen, indem sie Merkmalssätze für Höhe und Breite einer Reihe idealer Schilder vorgibt. Die Trainingsvorrichtung ist dann dazu geeignet, um unter Verwendung der Matrix und der idealen Geometrie eine Korrekturmatrix zu berechnen. Das System umfasst ferner eine Speichervorrichtung in Kommunikation mit der Trainingsvorrichtung. Die Speichervorrichtung ist dazu geeignet, um die mindestens eine Korrekturmatrix zu speichern. Das System umfasst auch eine Eingabevorrichtung, die dazu geeignet ist, um ein Bild eines erkannten Nummernschildes aufzunehmen. Das System umfasst eine Korrekturvorrichtung in Kommunikation mit der Eingabevorrichtung und der Speichervorrichtung. Die Korrekturvorrichtung ist dazu geeignet, um das aufgenommene Bild zu empfangen, das von der Eingabevorrichtung übertragen wird. Als Reaktion auf den Empfang des Eingabebildes ist die Korrekturvorrichtung dazu geeignet, um das Eingabebild automatisch einzustellen, um ein korrigiertes Bild zu erzielen, indem die mindestens eine Korrekturmatrix angewendet wird. Das System umfasst eine Schnittstelle in Kommunikation mit der Korrekturvorrichtung. Die Schnittstelle ist dazu geeignet, um das korrigierte Bild anzuzeigen.
- Es zeigen:
-
1 eine schematische Abbildung eines ALPR-Korrektursystems gemäß einer Ausführungsform. -
2 ein Ablaufschema, das ein Verfahren zum Korrigieren eines Bildes eines Nummernschildes beschreibt. -
3 ein hinten montiertes Schild, das in einem Bild verformt wurde. -
4 eine Scherungstransformation zum Nähern der Verformung des in3 gezeigten Schildes. -
5 ein Schild, das in einer im Allgemeinen geraden Orientierung an einem Fahrzeug montiert ist. -
6 ein Schild, das in einer im Allgemeinen schrägen Orientierung an einem Fahrzeug montiert ist. -
7 ein Ablaufschema, das die Kalibrierungsphase beschreibt, die verwendet wird, um die mindestens eine Korrekturmatrix zu bestimmen. -
8 ein Ablaufschema, das die Betriebsphase beschreibt, welche die mindestens eine Korrekturmatrix zum Einstellen eines aufgenommenen Bildes verwendet. -
9 Bilder von Schildern vor und nach der Korrektur. -
10A –B aufgenommene Bilder, die als Eingabe für eine Versuchsumsetzung der Betriebsphase verwendet wurden. -
11A –B die korrigierten Bilder aus10A –B, nachdem sie dem in der Offenbarung beschriebenen Vorgang unterzogen wurden. - Die vorliegende Offenbarung betrifft ein ALPR-Korrektursystem und ein Verfahren zum automatischen Kalibrieren einer Kamera und zum automatischen Verarbeiten und/oder Korrigieren von Bildern, die von der Kamera aufgenommen werden. Die Eingabebilder erfahren Vorgänge des automatischen Skalierens und Scherens, um die geometrische Verformung zu reduzieren. Das ALPR-Korrektursystem betrifft ALPR-Anwendungen, die eine feste Kamerakonfiguration verwenden, wie etwa bei Mauterhebungsvorgängen. Das Verfahren wird in zwei Phasen ausgeführt: eine Kalibrierungsphase und eine Betriebsphase. Während der Kalibrierungsphase funktioniert das ALPR-Korrektursystem in einem vollen Bereich, der alle möglichen Skalierungs- und Scherungsparameter abdeckt, wobei eine Drehung als Sonderfall der Scherung angesehen wird. Aus der Geometrie eines erkannten Nummernschildes schätzt das ALPR-Korrektursystem die Skalierungs- und Scherungscharakteristiken, die mit der Korrektureinstellung verknüpft sind. Das ALPR-Korrektursystem bestimmt dann eine optimale Korrekturmatrix. Während der Betriebsphase werden die Korrekturmatrizen, die aus der Kalibrierung erlernt wurden, auf ein aufgenommenes Bild eines Nummernschildes angewendet. Die Korrekturmatrizen werden verwendet, um die Scherungsverformung zu korrigieren und das erkannte Nummernschild auf eine vorherbestimmte Größe zu skalieren. Die ALPR-Korrekturkamera ist dann dazu geeignet, um in einem reduzierten Bereich zu funktionieren, der die Schilder ungefähr in der gleichen Größe und in der gleichen rechteckigen Form erkennt.
-
1 ist eine schematische Abbildung eines ALPR-Korrektursystems100 in einem Ausführungsbeispiel. Das ALPR-Korrektursystem umfasst eine Trainingsvorrichtung102 , eine Speichervorrichtung104 und eine Korrekturvorrichtung106 , die über Kommunikationsverbindungen, die hier als Netzwerk bezeichnet werden, miteinander verbunden sein können. Diese Komponenten werden nachstehend ausführlicher beschrieben. - Die Trainingsvorrichtung
102 , die in1 abgebildet ist, umfasst einen Controller108 , der Teil der Trainingsvorrichtung102 oder damit verknüpft ist. Der beispielhafte Controller108 ist dazu geeignet, um eine Trainingsphase des ALPR-Systems100 zu steuern, indem er Korrekturmatrizen bildet, die man später auf die erkannten Bilder anwenden kann. Der Controller108 umfasst einen Prozessor110 , der den gesamten Betrieb der Trainingsvorrichtung102 durch die Ausführung von Verarbeitungsanweisungen steuert, die in einem Speicher112 gespeichert sind, der an den Prozessor110 angeschlossen ist. - Der Speicher
112 kann eine beliebige Art eines materiellen computerlesbaren Mediums sein, wie etwa ein Arbeitsspeicher (RAM), ein Festspeicher (ROM), eine Magnetplatte oder ein Magnetband, eine optische Platte, ein Flash-Speicher oder ein holographischer Speicher. Bei einer Ausführungsform umfasst der Speicher112 eine Kombination aus Arbeitsspeicher und Festspeicher. Der digitale Prozessor110 kann unterschiedlich ausgebildet sein, wie etwa als Einzelkernprozessor, als Doppelkernprozessor (oder noch allgemeiner als Mehrkernprozessor), als digitaler Prozessor und als mitwirkender mathematischer Coprozessor, als digitaler Controller oder dergleichen. Zusätzlich zum Steuern des Betriebs der Trainingsvorrichtung102 führt der digitale Prozessor Anweisungen aus, die in dem Speicher112 gespeichert sind, um die Teile des Verfahrens auszuführen, die in2 und7 zusammengefasst sind. Bei einigen Ausführungsformen kann man den Prozessor110 und den Speicher112 in einem einzigen Chip kombinieren. - Die Trainingsvorrichtung
102 kann in einer vernetzten Vorrichtung ausgebildet sein, obwohl es ebenfalls in Betracht gezogen wird, dass sich die Trainingsvorrichtung102 an einer anderen Stelle in einem Netzwerk befindet, an welches das ALPR-Korrektursystem100 angeschlossen ist, wie etwa auf einem Server, einem vernetzten Computer oder dergleichen, oder dass es auf das ganze Netzwerk verteilt ist oder dafür anderweitig zugänglich ist. Die hier offenbarte Trainingsphase wird von dem Prozessor110 gemäß den Anweisungen ausgeführt, die in dem Speicher112 enthalten sind. Insbesondere speichert der Speicher112 ein Modul zum Erstellen einer Korrekturmatrix114 , das eine Reihe Musterschildbilder empfängt, eine Matrix bestimmt, die Merkmalssätze für jedes der Musterbilder enthält, eine ideale Geometrie bestimmt, indem es ideale Merkmalssätze für Höhe und Breite für die Schilder vorgibt, und eine Korrekturmatrix unter Verwendung der Matrix und der idealen Geometrie verwendet. Es werden Ausführungsformen in Betracht gezogen, bei denen diese Anweisungen in mehreren Modulen gespeichert sein können. Das Modul zum Erstellen einer Korrekturmatrix114 wird später mit Bezug auf das beispielhaften Verfahren beschrieben. - Die Software-Module, wie sie hier beschrieben werden, sind dazu gedacht, eine beliebige Sammlung oder einen beliebigen Satz von Anweisungen einzubeziehen, die von der Trainingsvorrichtung
102 oder einem anderen digitalen System ausführbar sind, um den Computer oder ein anderes digitales System zu konfigurieren, damit er bzw. es die Aufgabe ausführt, für welche die Software gedacht ist. Der Begriff „Software”, wie er hier verwendet wird, ist dazu gedacht, Anweisungen von der Art einzubeziehen, die in einem Speichermedium gespeichert ist, wie etwa einem RAM, einer Festplatte, einer optischen Platte oder dergleichen, und ist auch dazu gedacht, so genannte „Firmware” einzubeziehen, wobei es sich um Software handelt, die in einem ROM oder dergleichen gespeichert ist. Eine derartige Software kann verschiedenartig organisiert sein und kann Software-Komponenten umfassen, die als Bibliotheken, internetbasierte Programme, die auf einem entfernt aufgestellten Server oder dergleichen gespeichert sind, Source-Code, interpretativer Code, Objektcode, direkt ausführbarer Code und dergleichen organisiert sind. Es wird in Betracht gezogen, dass die Software Code oder Aufrufe an andere Software, die sich auf einem Server (nicht gezeigt) oder an einer anderen Stelle befindet, abrufen kann, um bestimmte Funktionen auszuführen. - Weiter mit Bezug auf
1 umfasst die Trainingsvorrichtung102 auch eine oder mehrere Kommunikationsschnittstellen, wie etwa Netzwerkschnittstellen, um mit externen Vorrichtungen zu kommunizieren. Die Kommunikationsschnittstellen116 ,118 können beispielsweise ein Modem, einen Router, ein Kabel und und/oder einen Ethernet-Anschluss usw. umfassen. Eine erste Kommunikationsschnittstelle116 ist dazu geeignet, um Musterbilder120 als Eingabe zu empfangen. Eine zweite Kommunikationsschnittstelle118 ist dazu geeignet, um mindestens eine Korrekturmatrix122 als Ausgabe bereitzustellen. Bei den in Betracht gezogenen Ausführungsformen kann eine Kommunikationsschnittstelle die Eingabe empfangen und die Ausgabe bereitstellen. Die diversen Komponenten der Trainingsvorrichtung102 können alle über einen Bus124 angeschlossen sein. - Die Trainingsvorrichtung
102 kann eine oder mehrere spezielle oder universelle Computervorrichtungen umfassen, wie etwa einen Servercomputer oder ein digitales Frontend (DFE) oder eine beliebige andere Computervorrichtung, die in der Lage ist, Anweisungen auszuführen, um das beispielhafte Verfahren auszuführen. -
1 bildet ferner die Trainingsvorrichtung102 ab, wie sie an eine Bildquelle126 angeschlossen ist, um Musterbilder in einem elektronischen Format einzugeben und/oder zu empfangen. Die Bildquelle126 kann eine Bildaufnahmevorrichtung144 umfassen, wie etwa eine Kamera, die ausgewählt wird, um kalibriert zu werden, oder es kann sich um eine Vorrichtung handeln, die dazu geeignet ist, um Bilder, die von der Kamera aufgenommen werden, an die Trainingsvorrichtung weiterzugeben und/oder zu übertragen. Beispielsweise kann die Bildquelle126 einen Scanner, einen Computer oder dergleichen umfassen. Bei einer anderen Ausführungsform können die Bilddaten120 von einer beliebigen geeigneten Quelle eingegeben werden, wie etwa von einer Arbeitsstation, einer Datenbank, einer Speichervorrichtung, wie etwa einer Platte oder dergleichen. Die Bildquelle126 steht in Kommunikation mit dem Controller106 , der den Prozessor110 und die Speicher112 enthält. - Weiter mit Bezug auf
1 umfasst das ALPR-Korrektursystem100 eine Speichervorrichtung104 in Kommunikation mit der Trainingsvorrichtung102 . Bei einer in Betracht gezogenen Ausführungsform kann die Trainingsvorrichtung102 in Kommunikation mit einem (nicht gezeigten) Server stehen, der eine Verarbeitungsvorrichtung und einen Speicher umfasst, wie etwa die Speichervorrichtung104 , oder der Zugriff auf eine Speichervorrichtung104 hat, um Korrekturmatrizen zu speichern, die von der Korrekturvorrichtung106 verwendet werden können. Die Speichervorrichtung104 umfasst ein Korrekturmatrizenarchiv128 , das mindestens eine Korrekturmatrix122 speichert, die von der Trainingsvorrichtung102 bereitgestellt wird. - Weiter mit Bezug auf
1 umfasst das ALPR-Korrektursystem100 ferner die Bildkorrekturvorrichtung106 in Kommunikation mit der Speichervorrichtung104 , die dazu geeignet ist, um das Verfahren auszuführen, das in2 und8 zusammengefasst ist. Die beispielhafte Bildkorrekturvorrichtung104 umfasst beispielsweise einen Computer oder Mikrocomputer. Die Bildkorrekturvorrichtung104 kann als Teil einer Bildaufnahmevorrichtung142 enthalten sein oder kann in Kommunikation mit der Bildaufnahmevorrichtung142 stehen. Die Bildkorrekturvorrichtung106 umfasst einen Prozessor130 , wie etwa eine CPU, und einen Speicher132 zum Speichern von Software-Modulen, die auf dem Prozessor der CPU ausführbar sind, und mindestens eine Kommunikationsschnittstelle134 , die Hardware und/oder Software umfasst, die dazu geeignet ist bzw. sind, um eine drahtlose Datenkommunikation mit der Speichervorrichtung104 bereitzustellen, eine Bildaufnahmevorrichtung136 und ein Display138 . Der Speicher132 , der Prozessor130 und die Kommunikationsschnittstelle(n)134 können ähnlich konfiguriert sein wie der Speicher112 , der Prozessor110 und die Kommunikationsschnittstellen116 ,118 der Trainingsvorrichtung102 . Das beispielhafte Software-Modul umfasst ein Bildanpassungsmodul140 , das ein aufgenommenes Bild142 empfängt, das von einer Eingabevorrichtung144 übertragen wird, und als Reaktion auf den Empfang des Eingabebildes142 das Eingabebild142 automatisch anpasst, um ein korrigiertes Bild146 zu erzielen, indem die mindestens eine Korrekturmatrix122 angewendet wird. Dieses Modul140 wird später mit Bezug auf das beispielhafte Verfahren beschrieben. Die diversen Komponenten der Bildkorrekturvorrichtung106 können alle über einen Bus150 angeschlossen sein. - Weiter mit Bezug auf
1 können die tatsächlichen Daten eine Verarbeitung durch die Bildkorrekturvorrichtung106 erfahren und können für den Benutzer in geeigneter Form auf einer GUI148 in Kommunikation mit der Bildkorrekturvorrichtung106 angezeigt werden. Die GUI148 kann ein Display umfassen, um für die Benutzer Informationen anzuzeigen, wie etwa das korrigierte Bild146 oder die Zulassungsnummer in dem korrigierten Bild, und kann eine Benutzereingabevorrichtung, wie etwa eine Tastatur oder einen Berührungs- oder beschreibbaren Bildschirm, um Anweisungen als Eingabe zu empfangen, und/oder eine Cursor-Steuerungsvorrichtung, wie etwa eine Maus, einen Trackball oder dergleichen, um dem Prozessor130 Benutzereingabeinformationen und Befehlsauswahlen mitzuteilen, umfassen. -
2 ist ein Ablaufschema, das ein Verfahren200 zum Korrigieren eines Bildes eines Nummernschildes beschreibt. Die Verfahren beginnt in Schritt S202. Das Verfahren umfasst das Trainieren (hier ebenfalls als „Kalibrieren” bezeichnet) einer Kamera in Schritt S204 in einer ersten Phase und das Korrigieren der Bilder von der Kamera in Schritt S206 (hier auch als „Bedienen der Kamera” bezeichnet) in einer zweiten Phase. Das Trainieren S202 umfasst das automatische Bestimmen in Schritt S208 eines ersten Satzes von Korrekturparametern, die einem Nummernschild entsprechen. Das Nummernschild umfasst ein schräg orientiertes Schild, was bedeutet, dass das Nummernschild im Stoßstangenbereich eines Fahrzeugs in einer im Allgemeinen geneigten Orientierung montiert ist. Das Trainieren S202 umfasst auch das automatische Bestimmen in Schritt S210 eines zweiten Satzes von Korrekturparametern, die einem gerade orientierten Schild entsprechen, was bedeutet, dass das Nummernschild im Stoßstangenbereich eines Fahrzeugs in einer im Allgemeinen senkrechten Position montiert ist. Im Allgemeinen sind vordere Nummernschilder gerade orientiert, während hinten montierte Nummernschilder schräg oder gerade orientiert sein können. - Weiter mit Bezug auf
2 umfasst das Korrigieren in Schritt S204 das Empfangen eines Eingabebildes in Schritt S212. Das Eingabebild umfasst ein Bild eines aufgenommenen Fahrzeug- oder Stoßstangenbereichs an dem Fahrzeug. Das Verfahren umfasst das Bestimmen, ob ein Nummernschild in dem Bild erkannt wird. Das Verfahren umfasst das automatische Verwenden des ersten Satzes Korrekturparameter, um das Bild in Schritt S214 einzustellen. Unter Verwendung der Parameter umfasst das Verfahren das Bestimmen in Schritt S216, ob das erkannte Bild ein schräg orientiertes Schild ist. Wenn die Bestimmung angibt, dass das erkannte Nummernschild kein schräg orientiertes Schild ist, dann umfasst das Verfahren das automatische Verwenden des zweiten Satzes von Korrekturparametern, um das Bild in Schritt S218 einzustellen. Das Verfahren endet in Schritt S220. - GEOMETRISCHE VERFORMUNG
- Nahezu alle Nummernschilder sind rechteckig. In den meisten Bundesländern in den USA haben normale Autoschilder ähnliche Modelle, Gestaltungen und Dimensionen. Ferner sind schräge Schilder im Allgemeinen etwa im gleichen Winkel montiert.
- Wenn Bilder von Schildern von der ALPR-Kamera aufgenommen werden, erfahren die Bilder eine perspektivische Verformung.
3 zeigt ein Beispiel eines hinten montierten Schildes302 , das in einem Bild300 verformt ist, das ein aufgenommener hinterer Stoßstangenbereich an einem Fahrzeug304 ist. Bei vielen ALPR-Anwendungen, wie etwa bei der Mauterhebung, kann man die Verformung400 durch eine Scherungstransformation nähern, die in4 gezeigt wird. Die Scherung kann mathematisch als zweidimensionale Matrix dargestellt werden: - In der Scherungsmatrix SH sind shx und shy die Scherungsfaktoren jeweils in den Richtungen X und Y. Jede Scherungsmatrix weist eine Umkehrfunktion auf, und die Umkehrfunktion ist einfach eine Scherungsmatrix, deren Scherungselement negiert ist, was eine Scherungstransformation in der entgegengesetzten Richtung darstellt. Daraufhin kann die Scherung und/oder Verformung des Nummernschildes in dem aufgenommenen Bild durch Scherung des Schildes in die entgegengesetzte Richtung korrigiert werden.
- Da vordere Schilder typischerweise gerade und rechtwinklig zu der Richtung, in der das Fahrzeug fährt, montiert sind, geht man davon aus, dass alle vorderen Schilder etwa in die gleiche Richtung zeigen. Eine Scherung der vorderen Schilder kann unter Verwendung einer einzigen Matrix genähert werden.
- Wie erwähnt können jedoch hinten montierte Schilder entweder gerade oder schräg nach innen montiert sein.
5 zeigt ein Bild500 eines hinteren Stoßstangenbereichs502 , der ein gerade orientiertes Schild504 umfasst. Ähnlich zeigt6 ein Bild600 eines hinteren Stoßstangenbereichs602 , der ein schräg orientiertes Schild604 umfasst. Für jede Orientierung wird eine andere Scherungsmatrix benötigt. Eine erste Korrekturmatrix (d.h. eine erste Scherungsmatrix) wird benötigt, um eine Scherungstransformation des schrägen Schildes darzustellen, und eine zweite Korrekturmatrix (d.h. eine zweite Scherungsmatrix) wird benötigt, um eine Scherungstransformation des geraden Schildes darzustellen. -
- Die Werte sx und sy sind die Skalierungsfaktoren in den Richtungen X und Y. Eine Kombination der Scherung und Skalierung kann man durch D=S SH darstellen.
- Ziel der vorliegenden Offenbarung ist es, die durchschnittliche Verformung zu minimieren. Ziel der Offenbarung ist es, unter Verwendung einer Anzahl von Musterbildern mindestens einen Satz Korrekturparameter automatisch zu bestimmen. Die Korrekturparameter werden in einer Speichervorrichtung gespeichert, bis die Korrekturparameter anschließend auf ein Bild angewendet werden können. Im Allgemeinen werden die Korrekturparameter während der Trainingsphase in Schritt S202 bestimmt, die nachstehend auch als „Kalibrierungsphase” bezeichnet wird.
- TRAININGSPHASE
- Mit Bezug auf
7 wird ein Ablaufschema gezeigt, um die Kalibrierungsphase zu beschreiben, die verwendet wird, um die mindestens eine Korrekturmatrix zu bestimmen. Die Kalibrierung kann entweder rechnerabhängig oder rechnerunabhängig erfolgen. Das Verfahren beginnt mit Schritt S700. Eine Anzahl Musterbilder wird in Schritt S702 an der Trainingsvorrichtung empfangen (siehe102 in1 ). Die Bilder werden bevorzugt mit der Kamera aufgenommen, die kalibriert werden soll. Wie bereits erwähnt, können die Musterbilder der Trainingsvorrichtung in einem elektronischen Format bereitgestellt werden. Die Musterbilddaten können der Trainingsvorrichtung als Eingabe aus einer beliebigen geeigneten Quelle bereitgestellt werden. Die Musterbilder umfassen jeweils ein Musternummernschild und/oder einen Stoßstangenbereich, der das Musternummernschild umfasst. - Die ALPR-Kamera, die in Schritt S702 zum Kalibrieren ausgewählt wird, kann über den gesamten Bereich betätigt werden, wenn die Musterschildbilder aufgenommen werden. Mit anderen Worten kann die Kamera nach Musterschildern suchen, die alle möglichen Scherungs- und Skalierungsparameter umfassen. Es werden jedoch Ausführungsformen in Betracht gezogen, bei denen die ALPR-Kamera mit einem eingeschränkten Suchbereich funktioniert. Wenn die Musterbilder von einer ALPR-Kamera bereitgestellt werden, die in einem beschränkten Suchbereich funktioniert, kann der Bereich in Schritt S704 ausgedehnt werden, indem man das Eingabebild voreinstellt.
- Für eine ALPR-Kamera, die nur einen Maßstab in einem ersten Bereich handhabt, kann das Eingabebild um einen Faktor vorskaliert werden, der es der Kamera ermöglicht, mit einem Maßstab eines geänderten Bereichs zu funktionieren. Der geänderte Bereich kann niedrigere und höhere Werte aufweisen, die Produkte des Faktors und die jeweiligen unteren und oberen Werte des ersten Bereichs sind. Die Ergebnisse des ersten Bereichs und des geänderten Bereichs können kombiniert werden, um einen größeren Bereich zu erzeugen, der einen unteren Wert aufweist, welcher der untere Wert des ersten Bereichs ist, und der einen oberen Wert aufweist, welcher der obere Wert des geänderten Bereichs ist. Bei einem erläuternden Beispiel, das eine ALPR-Kamera verwendet, die nur einen Maßstab im Bereich von 0,8 bis 1,2 handhabt, kann es eine Vorskalierung des Eingabebildes um einen gewissen Faktor, beispielsweise um 2/3, der Kamera ermöglichen, mit einem Maßstab von 1,2 bis 1,8 zu funktionieren. Durch die Kombination der Ergebnisse, die in dem Originalbild und dem vorskalierten Bild erkannt werden, beträgt der effektive Bereich 0,8 bis 1,8.
- Die Vorskalierung in Schritt S704 kann bei einem anderen Beispiel um einen Faktor 4/9 eingestellt werden. In diesem Fall kann ein ursprünglicher Maßstab im Bereich von 0,8 bis 1,2 ausgedehnt werden, um im Bereich von 0,8 bis 2,7 zu funktionieren. Durch Voreinstellen des Eingabebildes unter Verwendung unterschiedlicher Skalierungs- und Scherungsparameter kann der Bereich der ALPR-Kamera erheblich ausgedehnt werden.
- Weiter mit Bezug auf
7 werden die Koordinaten jeder der vier Ecken jedes Musternummernschildes in einer ersten der Gruppen für die Musterbilder in Schritt S708 bestimmt. Die Koordinaten umfassen die XY-Koordinaten für die Ecke unten links (xi1, yi1), die Ecke unten rechts (xi2, yi2), die Ecke oben links (xi3, yi3) und die Ecke oben rechts (xi4, yi4) jeder i. Platte. Diese Ecken kann man als Teil der Zwischen- oder End-ALPR-Ausgaben erzielen. Bei einer anderen Ausführungsform können die Koordinaten jedoch bestimmt werden, indem die vier Grenzen des Musterschildes erkannt werden und dann die Schnittpunkte der Grenzen berechnet werden. Zum Erkennen der Grenzen, kann eine Hough-Transformation verwendet werden. -
- Weiter mit Bezug auf
7 werden die berechneten Differenzen verwendet, um in Schritt S712 einen Merkmalssatz Vi für jedes Musternummernschild zu bestimmen. Genauer gesagt verwendet die Bestimmung dxij/dyij, was in Gleichung (3) als Merkmalssatz definiert ist, wobei i der Bildindex und j = 1–4 ist. Der Merkmalssatz Vi ist eine 2 × 4-Matrix, welche die Geometrie des i. Musterschildes vorgibt. Der Merkmalssatz für ein i. Schild wird wie folgt definiert: - Die Merkmale messen das Ausmaß der Scherung. Für hintere Schilder werden die Messungen in zwei Gruppen zusammengefasst. Die Cluster-Bildung kann unter Verwendung bestehender Verfahren erzielt werden, wie beispielsweise anhand eines K-Means-Algorithmus.
-
- Weiter mit Bezug auf
7 wird in Schritt S716 eine korrigierte Schildgeometrie CVi für jedes Musterschild bestimmt, wobei C die Matrix ist und Vi der Merkmalssatz ist, der die ursprüngliche Schildgeometrie beschreibt. Die korrigierte Schildgeometrie wird durch Matrixmultiplikation erzielt. Anschließend wird in Schritt S718 ein Abstand zwischen der korrigierten Schildgeometrie und der idealen Schildgeometrie bestimmt, und wird durch ||CVi – D|| dargestellt. Das mathematische Symbol „||” bezeichnet die Frobeniusnorm, welche die Quadratsumme aller Matrixelemente ist, die für die Anzahl der Musterschilder bestimmt werden. - Weiter mit Bezug auf
7 wird in Schritt 720 eine Korrekturmatrix bestimmt. Die Korrekturmatrix ist eine zweidimensionale Korrekturmatrix, die durch die Gleichung:C = arg minC∑i||CVi – D|| (6) c' = [C11 C12 C21 C22] (7) - Weiter mit Bezug auf
7 wird eine 4 × 8N-Matrix V’ gebildet, die Schildinformationen für eine Anzahl N von Musternummernschildern in Schritt S720 enthält. Genauer gesagt wird die Matrix V’ nur unter Verwendung von Schildern, die zu demselben Cluster gehören, aufgebaut. Die Matrix V’ wird durch folgende Gleichung dargestellt: -
- Weiter mit Bezug auf
7 wird die Lösung der kleinsten Quadrate für den Vektor c’ in Schritt S724 wie folgt bestimmt:c' = (V'V'T)–1V'D' (10) - Anschließend wird die Korrekturmatrix C1, C2 für das zweite Cluster bestimmt. Das Verfahren endet in Schritt S726.
- BETRIEBSPHASE
- Die Korrekturmatrizen C1, C2, die in der Trainingsphase bestimmt wurden, werden in der Speichervorrichtung gespeichert, bis die kalibrierte Kamera in Betrieb genommen wird. Im Allgemeinen wird die kalibrierte Kamera an einer ausgewählten Stelle in einer Transportinfrastruktur positioniert, um es der Kamera zu ermöglichen, Bilder von Nummernschildern zu lokalisieren und/oder aufzunehmen. Die Kamera wird verwendet, um den Fahrzeugverkehrsfluss zu überwachen, und das Bild wird verwendet, um die Nummern der Nummernschilder an den Fahrzeugen zu identifizieren.
-
8 zeigt ein Ablaufschema, das einen Vorgang zum Korrigieren eines Bildes800 beschreibt, das von der Kamera aufgenommen wird, und genauer gesagt zum Identifizieren der Nummer eines Nummernschildes, das in dem Bild enthalten ist. Das Verfahren beginnt in Schritt S802. Die Bildaufnahmevorrichtung, die unter Verwendung des Prozesses kalibriert wurde, der in7 beschrieben wurde, wird in Schritt S804 bereitgestellt. Ein Eingabebild (nachstehend als „wirkliches Bild” bezeichnet) wird in Schritt S806 an der Bildkorrekturvorrichtung (siehe106 in1 ) von der kalibrierten Kamera empfangen. - Weiter mit Bezug auf
8 kann das wirkliche Bild in Schritt S808 eingestellt werden, wenn die kalibrierte Kamera einen Maßstab in einem eingeschränkten Bereich handhabt. Das Verfahren des Einstellens des wirklichen Bildes ist analog zu dem Vorgang der Vorskalierung, der als Schritt S704 in7 beschrieben wurde. Die Korrektur fährt mit der Verwendung der Korrekturmatrix fort, die in der Trainingsphase bestimmt wurde, um das Bild einzustellen. Die Einstellung wird folgendermaßen vorgenommenv'(x, y) = v[(x', y')] (11) - Wenn mindestens einer der Werte x’ und y’ keine Ganzzahl ist, wird v(x’, y’) aus seinen nächsten Nachbarn bestimmt, beispielsweise unter Verwendung einer linearen Interpolation.
- Für die hinteren Schilder wird die Matrix zum Korrigieren der schrägen Schilder zuerst in Schritt S810 angewendet. Wenn die ALPR kein Schild erkennt, wird das Eingabebild in Schritt S812 wieder unter Verwendung der Matrix für die geraden Schilder eingestellt. Dieser Prozess ermöglicht es dem System, die Schilder für beide Fälle zu erkennen. Das Verfahren endet in Schritt S814.
-
9 zeigt eine Reihe Bilder von Schildern, bevor und nachdem die Korrektur auf das aufgenommene Bild angewendet wird bzw. wurde. Die durchsichtig gezeigten Bilder umfassen die Umrisse der ursprünglichen Schilder, die von der Bildaufnahmevorrichtung empfangen werden. Die ersten dreizehn Schilder definieren schräge Schilder. Die letzten sieben Schilder definieren gerade orientierte Schilder. Die Originalbilder sind den korrigierten Bildern überlagert, die mit durchgezogenen Linien gezeigt werden. Es ist ersichtlich, dass die Korrekturen dazu neigen, die Orientierung des Schildes zu einem im Wesentlichen idealen Rechteck zu korrigieren. - AUSGLEICH FÜR ABWEICHUNG
- Nach der anfänglichen Kalibrierung kann das System die ALPR-Ergebnisse weiter überwachen und eine Parameterabweichung erkennen. Nach einem vorherbestimmten Zeitraum, wie beispielsweise alle 24 Stunden oder alle fünf Minuten, kann das System den in
7 beschriebenen Prozess wiederholen, um die Korrekturmatrizen unter Verwendung der neuesten ALPR-Detektionsdaten neu zu berechnen und zu aktualisieren. Das System kann auch eine Warnung senden, wenn die Abweichung eine voreingestellte Schwelle oder Grenze überschreitet. - Ein Aspekt der vorliegenden Offenbarung ist eine deutliche Reduzierung des Suchbereichs für die ALPR. Das vorliegende System reduziert die rechnerischen Kosten, die mit der Schildkorrektur verknüpft sind. Das System verbessert ferner die Fehlerquote, die mit falschen Positivmeldungen verknüpft ist. Ein weiterer Aspekt des Systems ist eine Bildaufnahmevorrichtung, die dazu geeignet ist, um die Vorbereitungsparameter im Verlauf der Zeit selber einzustellen, um eine Abweichung der geometrischen und Kameraparameter auszugleichen.
- BEISPIELHAFTE UMSETZUNG
- Eine beispielhafte Umsetzung der Betriebsphase wird als aufgenommene Bilder und Ergebnisse in
10A –B und11A –B abgebildet.10A und10B zeigen zwei Eingabebilder, die von einer kalibrierten Bildaufnahmevorrichtung aufgenommen wurden.10A zeigt ein Bild eines ursprünglichen Nummernschildes, das aufgenommen wurde und eine gerade Montage aufweist. Wie es aus der Figur hervorgeht, ist das Schild gerade montiert, doch das Fahrzeug, an dem das Schild montiert ist, ist mit Bezug auf die Bildaufnahmevorrichtung in einem Winkel positioniert. Auf diese Art und Weise wird das Schild an seinen waagerechten Achsen entlang in einem Winkel aufgenommen. -
10B zeigt ein Bild eines ursprünglichen Nummernschildes, das aufgenommen wurde und eine schräge Montage aufweist. Wie es aus der Figur hervorgeht, ist das Schild mit einer Neigung montiert, so dass es mit Bezug auf die Kamera entlang seinen senkrechten Achsen angewinkelt ist. Wie es ferner in der Figur zu sehen ist, ist das Fahrzeug, an dem das Schild montiert ist, mit Bezug auf die Bildaufnahmevorrichtung in einem Winkel positioniert. Auf diese Art und Weise wird das Schild ebenfalls an seinen waagerechten Achsen entlang in einem Winkel aufgenommen. - Diese Bilder wurden unter Verwendung des Vorgangs getestet, der für
8 beschrieben wird.11A und11B entsprechen dem korrigierten Bild, nachdem es dem Prozess unterzogen wurde.11A zeigt das korrigierte Schild für das in10A gezeigte gerade Bild. Wie ersichtlich, wird das korrigierte Schild als ein im Allgemeinen rechteckiges Ausgabebild mit vier Ecken bereitgestellt, die jeweils einen Winkel von im Wesentlichen 90 Grad aufweisen. Ähnlich wird das in11B gezeigte korrigierte Bild für das schräge Schild aus10B auch mit einer im Allgemeinen rechteckigen, d.h. idealen, Form gezeigt und mit vier Winkeln von im Wesentlichen 90 Grad.
Claims (10)
- Verfahren zum Einstellen eines Nummernschildes, das in einem aufgenommenen Bild erkannt wird, wobei das Verfahren folgende Schritte umfasst: automatisches Bestimmen mindestens eines Satzes Korrekturparameter, die einem schräg orientierten Schild entsprechen; Empfangen eines Eingabebildes, das ein erkanntes Nummernschild darstellt; als Reaktion auf den Empfang des Eingabebildes, automatisches Einstellen des Eingabebildes, um unter Verwendung des mindestens einen Satzes Korrekturparameter ein korrigiertes Bild zu erzielen.
- Verfahren nach Anspruch 1, wobei das Einstellen ferner Folgendes umfasst: Bestimmen, ob das schräg orientierte Schild erkannt wurde, nachdem der erste Satz Korrekturparameter angewendet wurde; als Reaktion darauf, dass das schräg orientierte Schild nicht bestimmt wurde, Anwenden mindestens eines zweiten Satzes Korrekturparameter, die einem gerade orientierten Schild entsprechen.
- Verfahren nach Anspruch 1, wobei das Einstellen Folgendes umfasst: Anwenden einer Matrix, wenn das Eingabebild ein vorderes Schild umfasst, und Anwenden von zwei Matrizen, wenn das Eingabebild ein hinteres Schild umfasst.
- Verfahren nach Anspruch 1, wobei das Einstellen Folgendes umfasst: Skalieren des erkannten Schildes in dem Eingabebild auf eine vorherbestimmte Größe; und Einstellen des erkannten Schildes in dem Eingabebild, um die Verformung auszugleichen.
- Verfahren nach Anspruch 1, wobei das Bereitstellen der mindestens einen Korrekturmatrix Folgendes umfasst: Bereitstellen einer Bildaufnahmevorrichtung; Empfangen von Bildern einer Anzahl N von Nummernschildern, die von der Bildaufnahmevorrichtung aufgenommen werden; Bestimmen der XY-Koordinaten für jede der vier Ecken jedes Nummernschildes, das in den Bildern aufgenommen wird; Bestimmen von Korrekturmatrizen unter Verwendung einer Optimierung.
- Verfahren nach Anspruch 5, wobei das Bestimmen der Korrekturmatrizen Folgendes umfasst: Bestimmen eines Merkmalssatzes durch Berechnen der Differenzen zwischen den XY-Koordinaten der vier Ecken; Bestimmen einer Geometriematrix Vi ursprünglichen Schild aus dem Merkmalssatz; Bestimmen einer idealen Schildgeometrie D, wobei die Vektoren der Matrix D durch die Höhe und Breite eines idealen rechteckigen Schildes definiert sind; Bestimmen einer korrigierten Schildgeometrie CVi; Bestimmen eines Abstandes zwischen der korrigierten Schildgeometrie und der idealen Schildgeometrie durch Subtrahieren der idealen Schildgeometrie von der korrigierten Schildgeometrie (CVi-D); und, Bestimmen der Korrekturmatrix C durch Quadrieren einer Summe aller Matrixelemente für die Nummernschilder.
- Verfahren nach Anspruch 5, wobei das Bereitstellen der mindestens einen Korrekturmatrix ferner Folgendes umfasst: Bestimmen einer Matrix V’, welche die Schildinformationen für die Anzahl N von Schildern enthält; Bestimmen einer idealen Schildgeometrie D’; und Berechnen des Vektors c’ unter Verwendung der Matrix V’ und der Matrix D’.
- Verfahren nach Anspruch 7, wobei die Anzahl N von Schildern alle eines von einem gerade orientierten und einem schräg orientierten Schild umfassen.
- Verfahren nach Anspruch 7, wobei das Bestimmen der idealen Schildgeometrie D’ Folgendes umfasst: Vorgeben einer idealen Höhe und Breite der Anzahl N von Nummernschildern.
- System zum Einstellen eines Eingabebildes, wobei das System Folgendes umfasst: eine Trainingsvorrichtung, die geeignet ist zum: Empfangen von Bildern von einer Anzahl N von Schildern, Bestimmen einer Matrix V’, die Merkmalssätze für jedes der Anzahl N von Schildern enthält, Bestimmen einer idealen Geometriematrix D’ durch Vorgeben von Merkmalssätzen für Höhe und Breite von N idealen Schildern, und Berechnen einer Korrekturmatrix unter Verwendung der Matrix V’ und der idealen Geometrie D’; eine Speichervorrichtung in Kommunikation mit der Trainingsvorrichtung, wobei die Speichervorrichtung dazu geeignet ist, um die mindestens eine Korrekturmatrix zu speichern; eine Eingabevorrichtung, die dazu geeignet ist, um ein Bild eines erkannten Nummernschildes aufzunehmen; eine Korrekturvorrichtung in Kommunikation mit der Eingabevorrichtung und der Speichervorrichtung, wobei die Korrekturvorrichtung geeignet ist zum: Empfangen des aufgenommenen Bildes, das von der Eingabevorrichtung übertragen wird, und als Reaktion auf das Empfangen des Eingabebildes, automatisches Einstellen des Eingabebildes v[(x’, y’)], um ein korrigiertes Bild v’(x, y) durch Anwenden der mindestens einen Korrekturmatrix zu erzielen; eine Schnittstelle in Kommunikation mit der Korrekturvorrichtung, wobei die Schnittstelle dazu geeignet ist, um das korrigierte Bild anzuzeigen.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/494,302 US9020200B2 (en) | 2012-06-12 | 2012-06-12 | Geometric pre-correction for automatic license plate recognition |
US13/494,302 | 2012-06-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102013210478A1 true DE102013210478A1 (de) | 2013-12-12 |
DE102013210478B4 DE102013210478B4 (de) | 2023-10-26 |
Family
ID=49626057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102013210478.2A Active DE102013210478B4 (de) | 2012-06-12 | 2013-06-05 | Geometrische vorkorrektur zur automatischen nummernschilderkennung |
Country Status (3)
Country | Link |
---|---|
US (1) | US9020200B2 (de) |
JP (1) | JP6091325B2 (de) |
DE (1) | DE102013210478B4 (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110427937A (zh) * | 2019-07-18 | 2019-11-08 | 浙江大学 | 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法 |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10579892B1 (en) | 2014-06-27 | 2020-03-03 | Blinker, Inc. | Method and apparatus for recovering license plate information from an image |
US9607236B1 (en) | 2014-06-27 | 2017-03-28 | Blinker, Inc. | Method and apparatus for providing loan verification from an image |
US10540564B2 (en) | 2014-06-27 | 2020-01-21 | Blinker, Inc. | Method and apparatus for identifying vehicle information from an image |
US9754171B1 (en) | 2014-06-27 | 2017-09-05 | Blinker, Inc. | Method and apparatus for receiving vehicle information from an image and posting the vehicle information to a website |
US10867327B1 (en) | 2014-06-27 | 2020-12-15 | Blinker, Inc. | System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate |
US9589201B1 (en) | 2014-06-27 | 2017-03-07 | Blinker, Inc. | Method and apparatus for recovering a vehicle value from an image |
US9563814B1 (en) | 2014-06-27 | 2017-02-07 | Blinker, Inc. | Method and apparatus for recovering a vehicle identification number from an image |
US9779318B1 (en) | 2014-06-27 | 2017-10-03 | Blinker, Inc. | Method and apparatus for verifying vehicle ownership from an image |
US9600733B1 (en) | 2014-06-27 | 2017-03-21 | Blinker, Inc. | Method and apparatus for receiving car parts data from an image |
US9760776B1 (en) | 2014-06-27 | 2017-09-12 | Blinker, Inc. | Method and apparatus for obtaining a vehicle history report from an image |
US10733471B1 (en) | 2014-06-27 | 2020-08-04 | Blinker, Inc. | Method and apparatus for receiving recall information from an image |
US9818154B1 (en) | 2014-06-27 | 2017-11-14 | Blinker, Inc. | System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate |
US9594971B1 (en) | 2014-06-27 | 2017-03-14 | Blinker, Inc. | Method and apparatus for receiving listings of similar vehicles from an image |
US9773184B1 (en) | 2014-06-27 | 2017-09-26 | Blinker, Inc. | Method and apparatus for receiving a broadcast radio service offer from an image |
US9589202B1 (en) | 2014-06-27 | 2017-03-07 | Blinker, Inc. | Method and apparatus for receiving an insurance quote from an image |
US10515285B2 (en) | 2014-06-27 | 2019-12-24 | Blinker, Inc. | Method and apparatus for blocking information from an image |
US9558419B1 (en) | 2014-06-27 | 2017-01-31 | Blinker, Inc. | Method and apparatus for receiving a location of a vehicle service center from an image |
US10572758B1 (en) | 2014-06-27 | 2020-02-25 | Blinker, Inc. | Method and apparatus for receiving a financing offer from an image |
US9892337B1 (en) | 2014-06-27 | 2018-02-13 | Blinker, Inc. | Method and apparatus for receiving a refinancing offer from an image |
US10323450B2 (en) * | 2015-10-20 | 2019-06-18 | Hi-Tech Solutions Ltd. | Cloud-base ANPR management |
US10198954B2 (en) | 2015-12-30 | 2019-02-05 | Motorola Solutions, Inc. | Method and apparatus for positioning an unmanned robotic vehicle |
US10068146B2 (en) | 2016-02-25 | 2018-09-04 | Conduent Business Services, Llc | Method and system for detection-based segmentation-free license plate recognition |
CN106127248A (zh) * | 2016-06-24 | 2016-11-16 | 平安科技(深圳)有限公司 | 基于深度学习的车牌分类方法及系统 |
CN106127206B (zh) * | 2016-06-28 | 2019-04-05 | 北京智芯原动科技有限公司 | 一种车牌的竖直角度检测方法及装置 |
WO2020133464A1 (en) * | 2018-12-29 | 2020-07-02 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for license plate recognition |
CN111339846B (zh) * | 2020-02-12 | 2022-08-12 | 深圳市商汤科技有限公司 | 图像识别方法及装置、电子设备和存储介质 |
TWI818535B (zh) * | 2022-05-04 | 2023-10-11 | 博遠智能科技股份有限公司 | 車牌辨識系統及方法 |
CN114882489B (zh) * | 2022-07-07 | 2022-12-16 | 浙江智慧视频安防创新中心有限公司 | 一种对旋转车牌进行水平校正方法、装置、设备及介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07114689A (ja) * | 1993-10-18 | 1995-05-02 | Nippon Signal Co Ltd:The | 車両登録番号認識方法 |
JPH08320990A (ja) * | 1995-05-26 | 1996-12-03 | Japan Radio Co Ltd | 車番読み取り装置 |
JP4187458B2 (ja) * | 2002-04-23 | 2008-11-26 | 池上通信機株式会社 | 画像処理におけるアフィン変換係数算出方法および画像処理装置 |
US20120275653A1 (en) * | 2011-04-28 | 2012-11-01 | Industrial Technology Research Institute | Method for recognizing license plate image, and related computer program product, computer-readable recording medium, and image recognizing apparatus using the same |
-
2012
- 2012-06-12 US US13/494,302 patent/US9020200B2/en active Active
-
2013
- 2013-05-20 JP JP2013105848A patent/JP6091325B2/ja not_active Expired - Fee Related
- 2013-06-05 DE DE102013210478.2A patent/DE102013210478B4/de active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110427937A (zh) * | 2019-07-18 | 2019-11-08 | 浙江大学 | 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法 |
CN110427937B (zh) * | 2019-07-18 | 2022-03-22 | 浙江大学 | 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6091325B2 (ja) | 2017-03-08 |
US20130329961A1 (en) | 2013-12-12 |
JP2013257864A (ja) | 2013-12-26 |
US9020200B2 (en) | 2015-04-28 |
DE102013210478B4 (de) | 2023-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102013210478B4 (de) | Geometrische vorkorrektur zur automatischen nummernschilderkennung | |
DE102013205810B4 (de) | System und verfahren zum einschätzen von verfügbaren parkplätzen zum parken auf der strasse mit mehreren plätzen | |
DE112019002547B4 (de) | System und verfahren zum bestimmen eines standortes zur platzierung eines pakets | |
DE102011106050B4 (de) | Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads | |
CN109389135B (zh) | 一种图像筛选方法及装置 | |
DE102015207676A1 (de) | Verfahren und Vorrichtung zur Hinderniserkennung auf Basis einer monokularen Kamera | |
DE112020005377B4 (de) | Systeme und verfahren zur automatischen kamerainstallationsführung | |
DE102016120775A1 (de) | System und Verfahren zum Erkennen von Linien in einem Bild mit einem Sichtsystem | |
DE102017220307B4 (de) | Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen | |
DE102016013274A1 (de) | Bildverarbeitungsvorrichtung und verfahren zur erkennung eines bilds eines zu erkennenden objekts aus eingabedaten | |
DE102019106277A1 (de) | Bildanalysevorrichtung, -verfahren und -programm | |
DE60217589T2 (de) | Vorrichtung und Verfahren zur Detektion von weissen Linien | |
DE102020216406A1 (de) | Inspektionssystem und verfahren für fahrzeugunterboden | |
DE102018113992A1 (de) | Verfahren und Gerät zum Erfassen einer Fahrspur | |
DE112020003158T5 (de) | Trainingsverfahren für ein Zielerfassungsmodell, Verfahren und Vorrichtung zur Kennzeichnung der Daten | |
DE102011106072A1 (de) | Schattenentfernung in einem durch eine fahrzeugbasierte kamera erfassten bild unter verwendung einer optimierten ausgerichteten linearen achse | |
DE112008002646T5 (de) | Fahrzeuginterne Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm | |
DE10354752A1 (de) | Verfahren und Vorrichtung zur automatischen Entzerrung von einkanaligen oder mehrkanaligen Bildern | |
DE102019124810A1 (de) | Bildverarbeitungsgerät und Bildverarbeitungsverfahren | |
DE112013004103T5 (de) | Verfahren und Vorrichtung zum Erzeugen einer Disparitätskarte | |
DE102017116853A1 (de) | System und Verfahren zur automatischen Auswahl von 3D-Ausrichtungsalgorithmen in einem Sehsystem | |
DE102019106398A1 (de) | Bildanalysevorrichtung, verfahren und programm | |
DE102015122116A1 (de) | System und Verfahren zur Ermittlung von Clutter in einem aufgenommenen Bild | |
DE102022102934A1 (de) | Ereignisbasierte fahrzeugposenschätzung unter verwendung monochromatischer bildgebung | |
EP2562681A1 (de) | Objektverfolgungsverfahren für ein Kamerabasiertes Fahrerassistenzsystem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R082 | Change of representative |
Representative=s name: GRUENECKER, KINKELDEY, STOCKMAIR & SCHWANHAEUS, DE Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE |
|
R012 | Request for examination validly filed | ||
R081 | Change of applicant/patentee |
Owner name: CONDUENT BUSINESS SERVICES, LLC, FLORHAM PARK, US Free format text: FORMER OWNER: XEROX CORPORATION, NORWALK, CONN., US Owner name: CONDUENT BUSINESS SERVICES, LLC (N.D.GES.D. ST, US Free format text: FORMER OWNER: XEROX CORPORATION, NORWALK, CONN., US |
|
R082 | Change of representative |
Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE |
|
R081 | Change of applicant/patentee |
Owner name: CONDUENT BUSINESS SERVICES, LLC, FLORHAM PARK, US Free format text: FORMER OWNER: CONDUENT BUSINESS SERVICES, LLC (N.D.GES.D. STAATES DELAWARE), DALLAS, TEX., US |
|
R082 | Change of representative |
Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE |
|
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06K0009620000 Ipc: G06V0030190000 |
|
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06V0030190000 Ipc: G06V0020540000 |
|
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division |