DE112022002739T5

DE112022002739T5 - Schilderkennungsvorrichtung und schilderkennungsverfahren

Info

Publication number: DE112022002739T5
Application number: DE112022002739.8T
Authority: DE
Inventors: DyuBinh Truong; Yuhi SHIINA; Takeshi Nagasaki
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2021-08-18
Filing date: 2022-02-07
Publication date: 2024-04-11
Also published as: JPWO2023021726A1; WO2023021726A1

Abstract

Bereitgestellt wird eine Bearbeitungsvorrichtung, fähig zum Verbessern der Leistung des Erkennens eines Objekts in einem Bild, etwa eines Aufhebungsschildes. Eine Schilderkennungsvorrichtung umfasst: eine Schildkandidat-Erkennungseinheit, die einen Kandidaten eines vorbestimmten Schildtyps in einem Bild erkennt; eine Paarschild-Sucheinheit, die ein erstes Schild mit einem zum Entsprechen dem ersten Schild installierten zweiten Schild verbindet, wenn ein Kandidat des ersten Schilds als der Kandidat des vorbestimmten Schildtyps erkannt wird; eine Farbinformations-Extrahierungseinheit, die Farbinformationen des mit dem ersten Schild verbundenen zweiten Schilds extrahiert, wenn das zum Entsprechen dem ersten Schild installierte zweite Schild vorhanden ist; und eine Schwellenwert-Bestimmungseinheit, die einen Schwellenwert zum Extrahieren von Farbinformationen des Kandidaten des ersten Schilds auf Basis der Zuverlässigkeit der Farbinformationen des zweiten Schilds, extrahiert von der Farbinformations-Extrahierungseinheit, bestimmt.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft eine Schilderkennungsvorrichtung und ein Schilderkennungsverfahren, verwendet in einer Borderfassungsvorrichtung, etwa einer Stereokameravorrichtung.
Bisheriger Stand der Technik
In den letzten Jahren sind auch die Anforderungen an die verschiedenen Erkennungsfunktionen von Borderfassungsvorrichtungen gestiegen, um eine fortschrittliche Fahrzeugsteuerung gemäß der Fahrzeugaußenumgebung zu ermöglichen, etwa in Form einer automatischen Fahrsteuerung und einer Fahrassistenzsteuerung. Da eine Stereokameravorrichtung, die eine Art von Borderfassungsvorrichtung ist, eine Vorrichtung ist, die gleichzeitig visuelle Informationen auf Basis eines Bilds und von Abstandsinformationen eines Objekts im Bild erfasst, ist es möglich, verschiedene Umgebungen (Fußgänger, andere Fahrzeuge, dreidimensionale Objekte, Straßenoberflächen, Straßenoberflächenschilder, Hinweisschilder und dergleichen) um das eigene Fahrzeug herum im Detail zu erkennen, was in hohem Maße zu einer Verbesserung der Sicherheit der automatischen Fahrsteuerung und Fahrassistenzsteuerung beiträgt.
Einige Fahrzeuge mit montierter Stereokameravorrichtung verwenden erkannte Verkehrsschilder zur selbstständigen Beschleunigungs-/Verzögerungssteuerung und dergleichen von Fahrzeugen. Darüber hinaus sind in Euro NCAP Bewertungsfaktoren für Speed Assistance Systems (SAS) vorgesehen, die Bewertungskriterien für fortschrittliche Fahrassistenzsysteme entsprechen und die an Bedeutung gewonnen haben. Die Bedeutung einer automatischen Geschwindigkeitssteuerfunktion (Intelligent Speed Assistance, ISA) zur Geschwindigkeitsbegrenzung bei einer unachtsamen oder fehlerhaften Fahrweise des Fahrers ist auch in Japan größer geworden und es wurde erforderlich, die Erkennungsgenauigkeit einer Schilderkennungsfunktion zum Erfassen von Geschwindigkeitsbegrenzungsinformationen zu verbessern. Da es außerdem notwendig ist, eine Geschwindigkeitsbegrenzung mit einer Bedingung, etwa einem Wirksamkeitsabschnitt, einer zeitlichen Begrenzung, einer Fahrzeugtypenbegrenzung oder dergleichen, zu erkennen, war eine Erhöhung der Zahl von erkennbaren Verkehrsschildern erforderlich.
Aufgrund der vorhergehenden Umstände wurden verschiedene Verfahren in Bezug auf eine Bordkameravorrichtung vorgeschlagen, welche die Umgebung vor einem Fahrzeug erkennt. Zum Beispiel wird PTL 1 als Stand der Technik beschrieben, die sich auf eine Verbesserung der Erkennungsleistung eines Aufhebungsschilds (eines Schilds für die Aufhebung einer Vorschrift wie einer Geschwindigkeitsbegrenzung, eines Überholverbots oder dergleichen) konzentriert, und die Zusammenfassung der Literatur enthält die Beschreibung: „Bereitgestellt wird eine Kameravorrichtung, fähig zum Verbessern der Erfassungsgenauigkeit eines Aufhebungsschilds. Eine Berechnungsverarbeitungseinheit (Sucheinheit) sucht nach Diagonallinienkandidaten in einem Bild (Diagonalliniensuche 504). . Die Berechnungsverarbeitungseinheit (Auswahleinheit) wählt einen Diagonallinienkandidaten für ein Aufhebungsschild zur Angabe der Aufhebung einer Vorschrift entsprechend einem Hauptschild aus den erfassten Diagonallinienkandidaten aus (Diagonallinienauswahl 505). Die Berechnungsverarbeitungseinheit (Aufhebungsschild-Identifizierungseinheit) identifiziert das Aufhebungsschild im Bild des ausgewählten Diagonallinienkandidaten des Aufhebungsschilds (Identifizierungsverarbeitung 506).“ Liste der Anführungen
Patentliteratur
PTL 1: WO 2020/071132 A
Zusammenfassung der Erfindung
Technische Aufgabe
Da die Kameravorrichtung in PTL 1 zum Identifizieren eines Aufhebungsschilds in einem Bild von Diagonallinienkandidaten angepasst ist, kann eine Diagonallinie oberhalb eines Geschwindigkeitsbegrenzungsschilds genau als ein Aufhebungsschild identifiziert werden, wenn ein Bildmuster wie in 11(a) als ein Teil eines erfassten Bilds vorliegt.
Wenn aber ein Bildmuster wie in 11(b) als Teil eines erfassten Bilds der Kameravorrichtung gemäß PTL 1 vorliegt, besteht eine Wahrscheinlichkeit, dass ein Mast oberhalb des Schilds fälschlicherweise als ein Aufhebungsschild erfasst wird, da die Länge, die Stärke und der Winkel des oberen Endes des sich oberhalb des Geschwindigkeitsbegrenzungsschilds erstreckenden Masten denen des Diagonallinienteils des Aufhebungsschilds ähneln.
Die vorliegende Erfindung wurde in Anbetracht der vorhergehenden Probleme gemacht und eine Aufgabe besteht im Bereitstellen einer Schilderkennungsvorrichtung und eines Schilderkennungsverfahrens zum Begrenzen einer irrtümlichen Erfassung eines Bildmusters eines Masten, eines Strommasten, eines Zweigs eines Baums oder dergleichen, die einer Gestalt eines Aufhebungsschilds ähneln, als ein Aufhebungsschild, das tatsächlich gar nicht vorhanden ist.
Technische Lösung
Zum Lösen der vorhergehenden Aufgabe ist eine Schilderkennungsvorrichtung gemäß der vorliegenden Erfindung eine Schilderkennungsvorrichtung, umfassend: eine Schildkandidat-Erkennungseinheit, die einen Kandidaten eines vorbestimmten Schildtyps in einem Bild erkennt; eine Paarschild-Sucheinheit, die ein erstes Schild mit einem zum Entsprechen dem ersten Schild installierten zweiten Schild verbindet, wenn ein Kandidat des ersten Schilds als einen Kandidaten eines vorbestimmten Schildtyps erkannt wird; eine Farbinformations-Extrahierungseinheit, die Farbinformationen des mit dem ersten Schild verbundenen zweiten Schilds extrahiert, wenn das zum Entsprechen dem ersten Schild installierte zweite Schild vorhanden ist; und eine Schwellenwert-Bestimmungseinheit, die einen Schwellenwert zum Extrahieren von Farbinformationen des Kandidaten des ersten Schilds auf Basis der Zuverlässigkeit der Farbinformationen des zweiten Schilds, extrahiert von der Farbinformations-Extrahierungseinheit, bestimmt.
Vorteilhafte Wirkungen der Erfindung
Gemäß der Schilderkennungsvorrichtung und dem Schilderkennungsverfahren der vorliegenden Erfindung kann eine irrtümliche Erfassung eines Bildmusters, etwa eines Masten, eines Strommasten oder eines Zweigs eines Baums, das einer Gestalt eines Aufhebungsschilds ähnelt, als ein Aufhebungsschild, das tatsächlich nicht vorhanden ist, verringert werden.
Andere Aufgaben, Konfigurationen und Wirkungen wie die zuvor beschriebenen gehen aus der folgenden Beschreibung von Ausführungsformen hervor.
Kurze Beschreibung der Zeichnungen

[1] 1 zeigt ein Funktionsblockdiagramm zur Darstellung einer Konfiguration einer Stereokameravorrichtung gemäß einer Ausführungsform.
[2] 2 zeigt ein Fließbild einer Basisverarbeitung der Stereokameravorrichtung gemäß der Ausführungsform.
[3] 3 zeigt ein Fließbild der Schilderkennungsverarbeitung einer Schilderkennungsvorrichtung gemäß der Ausführungsform.
[4] 4 zeigt ein Fließbild einer Verarbeitung der Schilderkennungsvorrichtung gemäß der Ausführungsform zum Extrahieren eines runden Objekts.
[5A] 5A zeigt ein Bildmuster eines Geschwindigkeitsbegrenzungsschilds.
[5B] 5B zeigt ein erläuterndes Diagramm einer Mittenschätzverarbeitung und einer Radiusschätzverarbeitung für ein Kantenbild eines Geschwindigkeitsbegrenzungsschilds.
[6] 6 zeigt ein Fließbild einer Verarbeitung der Schilderkennungsvorrichtung gemäß der Ausführungsform zur Suche nach einer wirksamen geraden Linie.
[7A] 7A zeigt ein erläuterndes Diagramm einer Verarbeitung zur Suche nach einer linken und rechten Kante in 6.
[7B] 7B zeigt ein erläuterndes Diagramm einer Verarbeitung zum Erfassen einer geraden Linie in 6.
[7C] 7C zeigt ein erläuterndes Diagramm einer Verarbeitung zum Bestimmen einer wirksamen geraden Linie in 6.
[8A] 8A zeigt ein Bilddiagramm einer Verarbeitung zum Suchen eines Schildpaars in Japan.
[8B] 8B zeigt ein Bilddiagramm einer Verarbeitung zum Suchen eines Schildpaars in einem anderen Land.
[9] 9 zeigt ein Fließbild einer Verarbeitung der Schilderkennungsvorrichtung gemäß der Ausführungsform zum Suchen eines Schildpaars.
[10A] 10A zeigt ein Bilddiagramm zur Darstellung einer Position eines Schildpaars eines Aufhebungsschilds in Japan.
[10B] 10B zeigt ein Bilddiagramm zur Darstellung einer Position eines Schildpaars eines Aufhebungsschilds in einem anderen Land.
[11] 11 zeigt ein Diagramm zum Erläutern eines Objekts, das einer Gestaltung des Aufhebungsschilds ähnelt.

Beschreibung von Ausführungsformen
Nachfolgend ist eine Schilderkennungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung in Bezug auf die Zeichnungen beschrieben. Für Teile mit den gleichen Funktionen in jeder Zeichnung werden die gleichen Bezugszeichen verwendet und auf eine Wiederholung der Beschreibung wird gegebenenfalls verzichtet.
<Übersichtskonfiguration der Stereokameravorrichtung>
1 zeigt ein Funktionsblockdiagramm zur Darstellung einer Übersichtskonfiguration einer Stereokameravorrichtung 100 gemäß einer Ausführungsform der vorliegenden Erfindung. Die Stereokameravorrichtung 100 ist eine Art von in einem Fahrzeug montierter Borderfassungsvorrichtung, die eine automatische Fahrsteuerung und eine Fahrassistenzsteuerung ausführt, und ist eine Vorrichtung, die eine Fahrzeugaußenumgebung (beispielsweise weiße Linien auf der Straße, Fußgänger, andere Fahrzeuge, andere dreidimensionale Objekte, Ampeln, Verkehrsschilder, Beleuchtungslampen und dergleichen) auf Basis von Bildinformationen eines Bildgebungs-Zielbereichs vor einem Trägerfahrzeug erkennt. Ferner ist die Stereokameravorrichtung 100 eine Vorrichtung, die ein Steuerungskonzept (Bremsen, Lenken und dergleichen) des Trägerfahrzeugs gemäß der Fahrzeugaußenumgebung bestimmt und das Steuerungskonzept an eine elektronische Steuereinheit über ein Bord-Controller-Area-Network (Bord-CAN) ausgibt. Anschließend steuert die elektronische Steuereinheit ein Bremssystem und ein Lenksystem des Trägerfahrzeugs gemäß dem Steuerungskonzepts der Stereokameravorrichtung 100, um dadurch sicher das Trägerfahrzeug zu verzögern oder das Trägerfahrzeug zum Vermeiden eines Hindernisses zu veranlassen.
Wie in 1 dargestellt weist die Stereokameravorrichtung 100 gemäß der vorliegenden Ausführungsform eine Kamera 1 und eine Schilderkennungsvorrichtung 2 auf. Die Kamera 1 ist in Form einer linken Kamera 1L und einer rechten Kamera 1R, angeordnet nebeneinander an der linken und rechten Seite, ausgebildet und gibt ein Paar von linkem und rechtem Bild (einem linken Bild P_L und einem rechten Bild P_R), erhalten durch synchrone Bildgebung der Seite vor dem Trägerfahrzeug, aus.
Die Schilderkennungsvorrichtung 2 erkennt ein Verkehrsschild in von der Kamera 1 erfassten Bildern. Insbesondere besteht die Schilderkennungsvorrichtung 2 aus einer einzelnen Computereinheit oder mehreren Computereinheiten, umfassend einen Prozessor, etwa eine Central Processing Unit (CPU), einen Speicher, etwa einen Read Only Memory (ROM), einen Random Access Memory (RAM) oder eine Hard Disk Drive (HDD), und dergleichen. Jede Funktion der Schilderkennungsvorrichtung 2 wird vom Prozessor ausgeführt, der ein im ROM gespeichertes Programm ausführt. RAM und SSD speichern Zwischendaten der Berechnung durch das Programm und Daten wie Bilder der Kamera 1. Obgleich die Stereokameravorrichtung 100 eine Vorrichtung ist, die ebenfalls eine andere Fahrzeugaußenumgebung (etwa weiße Linien auf der Straße, Fußgänger, andere Fahrzeuge und dergleichen) als Verkehrsschilder wie zuvor beschrieben erkennen kann, ist die vorliegende Erfindung an das Konzentrieren auf eine Verkehrsschild-Erkennungsfunktion der Stereokameravorrichtung 100 angepasst und die mit dem Bezugszeichen 2 bezeichnete Vorrichtung, die als eine Umgebungserkennungsvorrichtung oder dergleichen bezeichnet wird, wird somit in der vorliegenden Ausführungsform als eine Schilderkennungsvorrichtung 2 bezeichnet.
Wie in der Zeichnung dargestellt umfasst die Schilderkennungsvorrichtung 2 eine Bildeingabe-Schnittstelle 21, eine Bildverarbeitungseinheit 22, eine Berechnungsverarbeitungseinheit 23, eine Speichereinheit 24, eine CAN-Schnittstelle 25, eine Überwachungsverarbeitungseinheit 26 und einen internen Bus 27, der diese miteinander verbindet. Nachfolgend ist jede Komponente erläutert.
Die Bildeingabe-Schnittstelle 21 ist eine Schnittstelle, die Bildgebungselemente der Kamera 1 zum Aufnehmen von erfassten Bildern steuert. Die von der Bildeingabe-Schnittstelle 21 aufgenommenen Bilder werden über den internen Bus 27 an die Bildverarbeitungseinheit 22 und die Berechnungsverarbeitungseinheit 23 gesendet.
Die Bildverarbeitungseinheit 22 vergleicht das vom Bildgebungselement der linken Kamera 1L erfasste linke Bild P_L mit dem vom Bildgebungselement der rechten Kamera 1R erfassten rechten Bild P_R, führt eine Bildkorrektur, etwa eine Korrektur von durch die Bildgebungselemente verursachten vorrichtungsspezifischen Abweichungen, und eine Rauschinterpolation an jedem Bild durch und speichert anschließend das korrigierte linke und rechte Bild in der Speichereinheit 24. Ferner extrahiert die Bildverarbeitungseinheit 22 Abschnitte entsprechend einander zwischen dem korrigierten linken und rechten Bild und berechnet anschließend Abstandsinformationen von jedem Pixel in den Bildern auf Basis der Parallaxe zwischen den entsprechenden Abschnitten. Anschließend werden die berechneten Abstandsinformationen in der Speichereinheit 24 gespeichert.
Die Berechnungsverarbeitungseinheit 23 erkennt verschiedene für die Wahrnehmung der Umgebung um das Trägerfahrzeug erforderliche Objekte unter Verwendung des korrigierten linken und rechten Bilds und der in der Speichereinheit 24 gespeicherten Abstandsinformationen. Beispiele für die verschiedenen hier erkannten Objekte umfassen Fußgänger, andere Fahrzeuge, andere Hindernisse, Ampeln, Verkehrsschilder, Rücklichter und Scheinwerfer von Fahrzeugen und dergleichen. Einige dieser Erkennungsergebnisse und Zwischenberechnungsergebnisse werden in der Speichereinheit 24 aufgezeichnet. Ferner bestimmt die Berechnungsverarbeitungseinheit 23 ein Steuerungskonzept des Trägerfahrzeugs durch Verwenden der Erkennungsergebnisse von verschiedenen Objekten.
Die Speichereinheit 24 speichert Daten, die von der Bildverarbeitungseinheit 22 und der Berechnungsverarbeitungseinheit 23 verarbeitet werden oder wurden. Darüber hinaus werden verschiedene, zum Erkennen von verschiedenen Objekten erforderliche Arten von Informationen vorab in der Speichereinheit 24 gespeichert. Die Speichereinheit 24 ist insbesondere ein Speicher, etwa der RAM oder der SSD wie zuvor beschrieben, und umfasst einen Bildpuffer 24a und einen Diskriminator 24b, die nachfolgend beschrieben sind.
Die CAN-Schnittstelle 25 ist eine Schnittstelle, die verschiedene von der Berechnungsverarbeitungseinheit 23 erkannte Objekte und das von der Berechnungsverarbeitungseinheit 23 bestimmte Steuerungskonzept des Fahrzeugs an das Bord-CAN sendet. Die mit dem Bord-CAN verbundene elektronische Steuereinheit führt das Bremsen des Trägerfahrzeugs, das Warnen des Fahrers und dergleichen auf Basis der über das Bord-CAN gesendeten Objekterkennungsergebnisse und des Steuerungskonzepts durch.
Die Überwachungsverarbeitungseinheit 26 ist zum Überwachen, ob jede zuvor beschriebene Einheit einen anormalen Betrieb verursacht hat, ob ein Fehler zum Zeitpunkt der Datenübertragung aufgetreten ist und dergleichen, und Verhindern eines anormalen Betriebs ausgebildet.
<Basisverarbeitung der Stereokameravorrichtung>
Nachfolgend ist die Basisverarbeitung der Stereokameravorrichtung 100 gemäß der vorliegenden Ausführungsform unter Verwendung des Fließbilds von 2 beschrieben.
Zunächst veranlasst in Schritt S1L die Bildverarbeitungseinheit 22 die linke Kamera 1L zum Erfassen des linken Bilds P_L. Anschließend führt in Schritt S2L die Bildverarbeitungseinheit 22 eine Verarbeitung, etwa eine Bildkorrektur zum Absorbieren von einmaligen Merkmalen des Bildgebungselements, am erfassten linken Bild P_L durch und speichert anschließend das korrigierte linke Bild P_L im Bildpuffer 24a der Speichereinheit 24.
Ferner veranlasst in Schritt S1R die Bildverarbeitungseinheit 22 die rechte Kamera 1R zum Erfassen des rechten Bilds P_R synchron mit Schritt S1L und S2L. Anschließend führt in Schritt S2R die Bildverarbeitungseinheit 22 eine Verarbeitung, etwa eine Bildkorrektur zum Absorbieren von einmaligen Merkmalen des Bildgebungselements, am erfassten rechten Bild P_R und speichert anschließend das korrigierte rechte Bild P_R im Bildpuffer 24a der Speichereinheit 24.
In Schritt S3 gleicht die Bildverarbeitungseinheit 22 das korrigierte linke Bild P_L und rechte Bild P_R, gespeichert im Bildpuffer 24a, ab und berechnet die Parallaxe zwischen linkem und rechtem Bild. Die Parallaxe zwischen linkem und rechtem Bild macht deutlich, welche Teile eines bestimmten interessierenden Punkts auf einem Zielobjekt dem linken und rechten Bild entspricht, und es kann somit der Abstand zum Zielobjekt durch das Prinzip der Triangulation berechnet werden. Die in diesem Schritt ermittelten Abstandsinformationen werden ebenfalls in der Speichereinheit 24 gespeichert.
In Schritt S4 erkennt die Berechnungsverarbeitungseinheit 23 verschiedene Objekte unter Verwendung von korrigiertem linken und rechten Bild und der im Bildpuffer 24a gespeicherten Abstandsinformationen. Beispiele für die zu erkennenden Objekte umfassen Fußgänger, andere Fahrzeuge, andere dreidimensionale Objekte, Verkehrsschilder, Ampeln, Rücklichter und dergleichen. Der Diskriminator 24b wird zur Erkennung von verschiedenen Objekten in diesem Schritt nach Bedarf verwendet. Der Diskriminator 24b speichert beispielsweise Merkmale von zu erkennenden Objekten als maschinelle Lerndateri und zeichnet diese auf. Einzelheiten der in diesem Schritt ausgeführten Schilderkennungsverarbeitung (Schritt S40) sind nachfolgend beschrieben.
In Schritt S5 bestimmt die Berechnungsverarbeitungseinheit 23 ein Fahrzeugsteuerungskonzept unter Berücksichtigung der Erkennungsergebnisse der verschiedenen Objekte in Schritt S4 und des Zustands des Trägerfahrzeugs (Geschwindigkeit, Lenkwinkel und dergleichen). Wenn das Trägerfahrzeug beispielsweise die Geschwindigkeitsbegrenzung überschreitet, wird ein Steuerungskonzept, etwa die Ausgabe einer Warnung an einen Insassen oder das Bremsen des Trägerfahrzeugs, bestimmt. In der vorliegenden Ausführungsform bestimmt die Berechnungsverarbeitungseinheit 23 die Steuerung des Trägerfahrzeugs auf Basis der Informationen in Bezug auf ein in Schritt S4 erkanntes Schild wie nachfolgend beschrieben.
In Schritt S6 gibt die CAN-Schnittstelle 25 die verschiedenen in Schritt S4 erkannten Objekte und das in Schritt S6 bestimmte Steuerungskonzept des Trägerfahrzeugs an das externe elektronische Steuergerät durch das Bord-CAN aus. Somit kann die elektronische Steuereinheit gemäß dem von der Stereokameravorrichtung 100 bestimmten Steuerungskonzept eine Warnung an den Insassen ausgeben oder das Trägerfahrzeug bremsen.
<Schilderkennungsverarbeitung>
Nachfolgend ist die Schilderkennungsverarbeitung (Schritt S40), die einen Aspekt der Verarbeitung zum Erkennen der verschiedenen Objekte (Schritt S4) von 2 darstellt, unter Verwendung des Fließbilds in 3 beschrieben.
Zunächst extrahiert in Schritt S41 die Berechnungsverarbeitungseinheit 23 ein ein rundes Objekt umfassendes Bildmuster aus dem korrigierten Bild im Bildpuffer 24a. Insbesondere ist diese Verarbeitung in eine Kantenbild-Erzeugungsverarbeitung (Schritt S41a), eine Mittenschätzverarbeitung (Schritt S41b) und eine Radiusschätzverarbeitung (Schritt S41c) unterteilt und nachfolgend ist jede Verarbeitung der Reihenfolge nach in Bezug auf 4 bis 5B beschrieben.
Zunächst erzeugt die Berechnungsverarbeitungseinheit 23 ein Kantenbild P_E1, ermittelt durch Extrahieren einer Kantenkomponente des korrigierten Bilds im Bildpuffer 24a in der Kantenbild-Erzeugungsverarbeitung (Schritt S41a). Wenn beispielsweise ein Bildmuster eines Geschwindigkeitsbegrenzungsschilds wie in 5A in einem Teil des korrigierten Bilds erfasst wird, wird ein Kantenbild P_E1 wie in 5B in diesem Schritt erzeugt.
Anschließend schätzt im Mittenschätzprozess (Schritt S41b) die Berechnungsverarbeitungseinheit 23 die Mitte des runden Objekts. Insbesondere zeichnet die Berechnungsverarbeitungseinheit 23 ein Liniensegment Ln in der senkrechten Richtung von jeder Kante des Kantenbilds P_E1 und schätzt als eine Mitte C einen Punkt, an dem eine vorbestimmte Zahl von Schnittpunkten der Liniensegmente LN oder mehr miteinander überlappen wie in 5B dargestellt. Im Beispiel von 5B wird der Teil zwischen der Zahl „11“ und der Zahl „0“ als die Mitte C geschätzt.
In der Radiusschätzverarbeitung (Schritt S41c) schätzt die Berechnungsverarbeitungseinheit 23 den Radius des runden Objekts auf Basis des Histogramms des Kantenbilds P_E1. Beispielsweise wird beim Schätzen des Radius des runden Objekts in 5B ein Histogramm, in dem die horizontale Achse den Abstand von der Mitte C darstellt und die vertikale Achse die Zahl von Kanten darstellt, erzeugt. Insbesondere wird zunächst ein Kreis mit einem Radius r = 0 an der Mitte C angeordnet und der Radius r des Kreises wird schrittweite vergrößert. Wenn dann der Kreis und die Kante überlappen, wird die Zahl von überlappenden Kanten als die Zahl von Kanten am Abstand gezählt. Durch Fortsetzen von diesem Prozess, bis der Radius r einen vorbestimmten Wert erreicht (einen Radius, der für ein Verkehrsschild geeignet ist), kann ein Histogramm als rundes Objekt in 5B erzeugt werden. Im so auf Basis von 5B erzeugten Histogramm ist eine große Zahl von Kanten an zwei Positionen vorhanden, das heißt an der horizontalen Achsenposition entsprechend dem Abstand von der Mitte C zur ersten Kantengruppe E1 und der horizontalen Achsenposition entsprechend dem Abstand von der Mitte C zur zweiten Kantengruppe E2, und es kann somit angenommen werden, dass sowohl die erste Kantengruppe E1 als auch die zweite Kantengruppe E2 im Wesentlichen ringförmig sind. In diesem Fall schätzt die Berechnungsverarbeitungseinheit 23, dass die zweite Kantengruppe E2 mit einem größeren Radius der Außendurchmesser des runden Objekts ist.
Durch die zuvor beschriebene Verarbeitung kann die Berechnungsverarbeitungseinheit 23 ein rundes Objekt und dessen Merkmale (Mittenposition, Radius) aus dem korrigierten Bild im Bildpuffer 24a extrahieren.
In Schritt S42 erfasst die Berechnungsverarbeitungseinheit 23 Farbinformationen des in Schritt S41 extrahierten runden Objekts. Dies erfolgt deshalb, weil ein Vergleich auf Basis der Farbinformationen des Schilds beim Bestimmen in Schritt S4b, ob das Aufhebungsschild wahr oder falsch ist, durchgeführt wird wie nachfolgend beschrieben. Der Schritt S42 kann nach dem Schritt S43 wie nachfolgend beschrieben durchgeführt werden oder kann parallel zum Schritt S43 durchgeführt werden.
In Schritt S43 identifiziert die Berechnungsverarbeitungseinheit 23, ob das in Schritt S41 extrahierte runde Objekt ein Verkehrsschildkandidat ist. Insbesondere führt die Berechnungsverarbeitungseinheit 23 eine Identifizierungsverarbeitung unter Verwendung des Diskriminators 24b am Bildmuster des korrigierten Bildes im Bildpuffer 24a entsprechend der Position des in Schritt S41 extrahierten runden Objekts aus. Somit wird erkannt, ob das in Schritt S41 extrahierte runde Objekt ein Verkehrsschildkandidat ist oder nicht, und wenn das runde Objekt ein Verkehrsschildkandidat ist, wird der Inhalt (beispielsweise eine Geschwindigkeitsbegrenzung) des Verkehrsschilds erkannt. Ein erstes Identifizierungsergebnis zur Darstellung der Wahrscheinlichkeit des Verkehrsschilds, wenn es als ein Verkehrsschildkandidat identifiziert wird, wird in dieser Identifizierungsverarbeitung ausgegeben und im Speicher gespeichert. Nachfolgend wird der in diesem Schritt identifizierte Verkehrsschildkandidat als ein „Hauptschild“ bezeichnet. Wenn kein rundes Objekt in Schritt S41 extrahiert wird, kann dieser Schritt ausgelassen werden.
In den Schritten S44, 45 und 47 bis 4b wird nach einem Kandidaten für ein Aufhebungsschild gesucht.
Zunächst sucht in Schritt S44 die Berechnungsverarbeitungseinheit 23 nach einer wirksamen geraden Linie, die ein Kandidat für ein Aufhebungsschild sein kann, im korrigierten Bild im Bildpuffer 24a. Insbesondere ist die Verarbeitung zum Suchen nach einer wirksamen geraden Linie in eine Verarbeitung zum Suchen nach einer linken und rechten Kante (Schritt S44a), einer Verarbeitung zum Erfassen einer geraden Linie (Schritt S44b) und einer Verarbeitung zum Bestimmen einer wirksamen geraden Linie (Schritt S44c) unterteilt und jede Verarbeitung ist somit nachfolgend der Reihenfolge nach in Bezug auf 6 bis 7C beschrieben.
Zunächst tastet in der Verarbeitung zum Suchen nach einer linken und rechten Kante (Schritt S44a) die Berechnungsverarbeitungseinheit 23 Pixel des korrigierten Bilds im Bildpuffer 24a Zeile für Zeile von links nach rechts ab wie in 7A dargestellt. Anschließend werden, wenn nach einer linken Kante E_L und einer rechte Kanten E_R innerhalb eines bestimmten Abstands gesucht werden kann, diese als ein Paar von linker und rechter Kante extrahiert. Durch das Durchführen solch einer Verarbeitung am gesamten Bereich des korrigierten Bilds kann ein Kantenbild P_E2 (7B ist ein Auszug des Kantenbilds), erhalten durch Extrahieren des Paars von linker und rechter Kante aus dem korrigierten Bild, erzeugt werden.
Anschließend erfasst in der Verarbeitung zum Erfassen einer geraden Linie (Schritt S44b) die Berechnungsverarbeitungseinheit 23 einen geraden Linienabschnitt aus dem in Schritt S44a erzeugten Kantenbild P_E2. Als ein Beispiel in 7B dargestelltes Kantenbild P_E2 umfasst einen Abschnitt, in dem sich Paare von linker und rechter Kante vertikal in zwei oder mehr Zeilen fortsetzen, und einen Abschnitt, in dem ein Paar von linker und rechter Kante nur in einer Zeile vorhanden ist. In diesem Schritt wird der Abschnitt, in dem sich Paare von linker und rechter Kante vertikal in zwei oder mehr Zeilen fortsetzen, als eine gerade Linie erfasst.
In der Verarbeitung zum Bestimmen einer wirksamen geraden Linie (Schritt S44c) bestimmt die Berechnungsverarbeitungseinheit 23, ob die in Schritt S44b erfasste gerade Linie wirksam ist und ein Kandidat für das Aufhebungsschild sein kann, und extrahiert eine wirksame gerade Linie, die ein Kandidat sein kann. Das Aufhebungsschild in Japan weist eine Gestaltung auf, bei der eine dicke blaue Diagonallinie auf dem runden Schild nicht feststellbar ist (siehe oberes Schild in 11(a)), und es gibt auch viele Aufhebungsschilder mit Gestaltungen, bei denen dicke Diagonallinien auf runden Schildern feststellbar sind, in anderen Ländern (beispielsweise Deutschland, Polen, Schweden und dergleichen). Daher wird in diesem Schritt ein gerader Linienabschnitt, der ein Kandidat für das Aufhebungsschild sein kann, aus dem korrigierten Bild unter Berücksichtigung von Merkmalen der Gestaltung der diagonalen Linie im Aufhebungsschild extrahiert.
Wenn die Stereokameravorrichtung 100 verwendet wird, kann der Abstand zum in Schritt S44b erfassten geraden Linienabschnitt berechnet werden und es kann ungefähr die Breite und die Höhe des Diagonallinienabschnitts des Aufhebungsschilds im korrigierten Bild ebenfalls unter Annahme berechnet werden, dass das Aufhebungsschild im berechneten Abstand vorhanden ist. Daher kann, wenn die Breite des als ein Beispiel in 7B dargestellten Kantenpaares zu klein oder zu groß ist, der durch das Kantenpaar gebildete gerade Linienabschnitt als eine unwirksame gerade Linie bestimmt werden, die nicht als ein Kandidat für das Aufhebungsschild bestimmt werden und kann aus der wirksamen geraden Linie ausgeschlossen werden.
Ebenso werden, wenn die Höhe des geraden Linienabschnitts kurz ist und nicht eine untere Grenze eines wirksamen Bereichs erreicht, die als eine geeignete Höhe des Diagonallinienabschnitts des Aufhebungsschilds zu betrachten ist (7C(b)), oder wenn die Höhe lang ist und eine obere Grenze überschreitet (7C(c)), wie als ein Beispiel in 7C dargestellt, diese geraden Linienabschnitt als unwirksame gerade Linien bestimmt, die keine Kandidaten für das Aufhebungsschild sein können, und werden von der wirksamen geraden Linie ausgeschlossen. Wenn hingegen die Höhe des geraden Linienabschnitts im wirksamen Bereich liegt (7C(a)), wird der gerade Abschnitt als eine wirksame gerade Linie extrahiert.
Durch die zuvor beschriebene Verarbeitung in Schritt S44 können aus Kandidaten für das Aufhebungsschild Bildmuster von Strommasten oder Masten mit wesentlichen anderen Formen als die des Diagonallinienabschnitts des Aufhebungsschilds ausgeschlossen werden und es kann ausschließlich ein Bildmuster des geraden Linienabschnitts mit einer Wahrscheinlichkeit des Aufhebungsschilds extrahiert werden.
Anschließend bestimmt in Schritt S45 die Berechnungsverarbeitungseinheit 23, ob eine wirksame gerade Linie durch die Verarbeitung in Schritt S44 extrahiert wurde. Danach fährt die Verarbeitung mit Schritt S46 fort, wenn die wirksame gerade Linie noch nicht extrahiert wurde, oder die Verarbeitung fährt mit Schritt S47 fort, wenn die wirksame gerade Linie extrahiert wurde.
In Schritt S46 verfolgt die Berechnungsverarbeitungseinheit 23 den in Schritt S43 identifizierten Kandidaten für das Hauptschild (Verkehrsschild). „Verfolgen“ bedeutet hier das Speichern von Forminformationen und Positionsinformationen des Schildkandidaten wie in Schritt S41 ermittelt, die für jedes für jeden Frame ermitteltes Bild oder in vorbestimmten Zeitintervallen ermittelt werden, und Farbinformationen wie in Schritt S42 ermittelt im Speicher in einer Zeitreihenweise und entsprechenden Weise. Insbesondere wird der Typ (beispielsweise ein Geschwindigkeitsbegrenzungsschild) des in Schritt S43 identifizierten Hauptschildkandidaten in einer Verfolgungsliste L1 registriert, die eine Liste zum Registrieren des Typs des einer Bildgebung durch die Stereokameravorrichtung 100 unterzogenen Verkehrsschilds ist. Wenn das Trägerfahrzeug den in der Verfolgungsliste L1 registrierten Hauptschildkandidaten passiert und der Hauptschildkandidat keiner Bildgebung mehr unterzogen werden kann, wird angenommen, dass die Informationen in Bezug auf den in der Verfolgungsliste L1 registrierten Hauptschildkandidaten in eine Erkannt-Liste L2 übertragen werden.
In Schritt S47 wiederum berechnet die Berechnungsverarbeitungseinheit 23 Farbinformationen der in Schritt S44 extrahierten wirksamen geraden Linie. Beim Suchen nach einem Kandidaten für ein Aufhebungsschild (siehe 11(a)) in Japan beispielsweise ordnet die Berechnungsverarbeitungseinheit 23 ein Fenster mit einer Form an, in dem die wirksame gerade Linie innerhalb des Bildes angeordnet ist, und berechnet einen blauen Farbwert im Fenster. Hier wird der blaue Farbwert beispielsweise durch das folgende Verfahren berechnet. Das heißt, wenn eine Farbe von jedem Pixel des Bilds durch drei Primärfarben, das heißt eine rote Farbe (R), eine grüne Farbe (G) und eine blaue Farbe (B) definiert ist, wird der blaue Farbwert durch Teilen der Fläche eines blauen Farbpixels im Fenster durch die gesamte Fläche des Fensters berechnet. Der berechnete blaue Farbwert wird im Speicher gespeichert. Hier ist zwar die blaue Farbe genannt; es können aber auch andere Farbinformationen als die blaue Farbe gemäß einer Schildgestaltung extrahiert werden und das Berechnen von Werten dieser Farben wird zusammenfassend als „Erfassen von Farbinformationen“ bezeichnet.
Da das Aufhebungsschild in Japan eine Gestaltung aufweist, bei die blaue Diagonallinie feststellbar ist (siehe 11 (a)), wird beispielsweise wie zuvor beschrieben der blaue Farbwert im Fenster, das tatsächlich das Aufhebungsschild umfasst, als hoch betrachtet. Daher kann eine wirksame gerade Linie, die eindeutig eine andere Farbe als die blaue Farbe aufweist, etwa eine weiße gerade Linie oder eine schwarze gerade Linie, beispielsweise aus den Kandidaten für das Aufhebungsschild ausgeschlossen werden und es kann ausschließlich die auf der blauen Farbe basierende wirksame gerade Linie, die ein Kandidat für das Aufhebungsschild sein kann, durch Konzentrieren auf den Pegel des blauen Farbwerts im Fenster extrahiert werden.
Wenn der Farbton des Aufhebungsschilds im Bild abgeschwächt sein kann, wenn eine Bildgebung eines durch die Morgen- oder Abendsonne beleuchteten Aufhebungsschilds erfolgt oder wenn eine Bildgebung des Aufhebungsschilds bei Bewölkung oder regnerischem Wetter erfolgt, wird der Schwellenwert für den Vergleich mit dem blauen Farbwert in diesem Schritt als niedrig festgelegt, damit solch ein Aufhebungsschild nicht aus den Kandidaten ausgeschlossen wird. Somit kann nicht nur das aktuelle Aufhebungsschild, sondern auch eine wirksame gerade Linie (beispielsweise ein Mast, ein Strommast, ein Zweig eines Baums oder dergleichen), die kein Aufhebungsschild darstellt, als ein Kandidat für das Aufhebungsschild in diesem Schritt extrahiert werden und die Zuverlässigkeit des Kandidaten für das Aufhebungsschild ist in diesem Schritt nicht ausreichend.
In Schritt S48 wird der Aufhebungsschildkandidat identifiziert. Dies geschieht in ähnlicher Weise wie bei der Identifizierung des Hauptschilds in S42. Insbesondere identifiziert die Berechnungsverarbeitungseinheit 23 den Aufhebungsschildkandidaten durch Verwenden des Diskriminators 24b. Zu diesem Zeitpunkt wird ein zweiter Identifikationswert zur Darstellung der Wahrscheinlichkeit des Aufhebungsschilds in der Identifizierungsverarbeitung ausgegeben und im Speicher akkumuliert. Nachfolgend wird der in diesem Schritt identifizierte Aufhebungsschildkandidat als ein „Aufhebungsschild“ bezeichnet. Der Schritt S48 kann vor dem Schritt S47 durchgeführt werden oder kann parallel zum Schritt S47 durchgeführt werden.
In Schritt S49 verfolgt die Berechnungsverarbeitungseinheit 23 das in Schritt S42 identifizierte Hauptschild und den in Schritt S48 extrahierten Kandidaten für das Aufhebungsschild. Hier hat „Verfolgen“ die gleiche Bedeutung wie in Schritt S46 beschrieben. Insbesondere wird der Typ (beispielsweise ein Geschwindigkeitsbegrenzungsschild) des in Schritt S43 identifizierten Hauptschildkandidaten und des in Schritt S48 extrahierten Aufhebungsschilds (Kandidaten) in einer Verfolgungsliste L1 registriert, die eine Liste zum Registrieren des Schilds ist, das einer Bildgebung durch die Stereokameravorrichtung 100 unterzogen wird. Wenn das in der Verfolgungsliste L1 registrierte Hauptschild nicht mehr einer Bildgebung unterzogen werden kann, weil das Trägerfahrzeug das Schild passiert hat, wird angenommen, dass die Informationen in Bezug auf das in der Verfolgungsliste L1 registrierte Hauptschild in die Erkannt-Liste L2 übertragen werden.
In Schritt S4a sucht die Berechnungsverarbeitungseinheit 23 nach dem Hauptschild (beispielsweise einem Geschwindigkeitsbegrenzungsschild und einem Überholverbot) gepaart mit dem in Schritt S48 extrahierten Aufhebungsschildkandidaten. Das Verfahren für die Suche nach dem Schildpaar in diesem Schritt ist in jedem Land unterschiedlich. Da das Hauptschild beispielsweise in Japan unterhalb vom Aufhebungsschild angeordnet ist wie in 8A dargestellt, müssen lediglich das Aufhebungsschild und das Hauptschild, gleichzeitig in der Verfolgungsliste L1 als ein Schildpaar registriert, verbunden werden. Da das Aufhebungsschild hingegen in anderen Ländern vor dem Hauptschild aufgestellt sein kann wie in 8B dargestellt, muss das in der Erkannt-Liste L2 registrierte Hauptschild mit dem neu in der Verfolgungsliste L1 registrierten Aufhebungsschild als ein Schildpaar verbunden werden. Es kann nach dem Hauptschild zum Paaren mit dem Aufhebungsschild ungeachtet des Landes durch Verwenden von einem der Suchverfahren gesucht werden.
Nachfolgend sind Einzelheiten der Verarbeitung zum Suchen nach einem Schildpaar in Schritt S4a durch Verwenden des Fließbilds in 9 beschrieben. Dieses Fließbild ist in die Verarbeitung von Schritt S4aa bis Schritt S4ad und die Verarbeitung von Schritt S4af bis Schritt S4ah unterteilt.
In Schritt S4aa bis S4ad sucht die Berechnungsverarbeitungseinheit 23 nach einem Schildpaar auf Basis der Verfolgungsliste L1. Dies stellt ein Verfahren zur Suche nach einem Schildpaar in Ländern dar, in denen das Hauptschild und das Aufhebungsschild am gleichen Ort aufgestellt sind wie in 8A dargestellt.
Zunächst prüft in Schritt S4ab die Berechnungsverarbeitungseinheit 23, ob ein Hauptschild gepaart mit dem Aufhebungsschild vorhanden ist oder nicht, auf Basis der Verfolgungsinformationen (Informationen zum Spezifizieren eines Schilds, etwa eine Aufstellposition, eine Größe, ein Typ, eine Verfolgungsnummer und dergleichen des Schilds) wie in der Verfolgungsliste L1 in Schritt S49 registriert. Wenn das Aufhebungsschild und das Geschwindigkeitsbegrenzungsschild in der Verfolgungsliste L1 wie beispielsweise in 8A dargestellt registriert sind, werden diese Schilder als Kandidaten für das Schildpaar extrahiert.
Anschließend prüft in Schritt S4ac die Berechnungsverarbeitungseinheit 23 die Anordnung des Aufhebungsschild- und Schildpaarkandidaten, und wenn die Aufstellpositionen von beiden nahe zueinander sind, bestimmt die Berechnungsverarbeitungseinheit 23, dass- beide ein Schildpaar sind. Wie in 10A dargestellt wird, wenn ein Geschwindigkeitsbegrenzungskandidat als der erste Schildpaarkandidat am gleichen Mast installiert ist wie dem des Aufhebungsschilds und ein Überholverbotsschild, das ein zweiter Schildpaarkandidat ist, an einem Mast entfernt vom Aufhebungsschild installiert ist, das am gleichen Mast wie dem des Aufhebungsschilds installierte Geschwindigkeitsbegrenzungsschild als ein Schildpaar bestimmt, während das Überholverbotsschild an der entfernten Position nicht als ein Schildpaar bestimmt wird. Wenn eine Vielzahl von Hauptschildern am gleichen Mast wie das Aufhebungsschild installiert ist, kann die Vielzahl von Hauptschildern als ein Schildpaar extrahiert werden.
In Schritt S4ad speichert die Berechnungsverarbeitungseinheit 23 die Informationen in Bezug auf das in Schritt 48c extrahierte Schildpaar in der Speichereinheit 24.
In Schritt S4ae prüft die Berechnungsverarbeitungseinheit 23, ob das Schildpaar registriert wurde. Wenn das Schildpaar registriert wurde, wird die Verarbeitung in Schritt S4a beendet und die Verarbeitung fährt mit Schritt S4b fort. Wenn das Schildpaar nicht registriert wurde, fährt die Verarbeitung mit Schritt S4af fort.
In den Schritten S4af bis S4ah sucht die Berechnungsverarbeitungseinheit 23 nach einem Schildpaar auf Basis der Verfolgungsliste L1 und der Erkannt-Liste L2. Dies stellt ein Verfahren zum Suchen nach dem Schildpaar in Ländern dar, in denen das Hauptschild und das Aufhebungsschild an verschiedenen Orten aufgestellt ist wie als ein Beispiel in 8B dargestellt.
Zunächst prüft in Schritt S4ag die Berechnungsverarbeitungseinheit 23, ob ein Hauptschild gepaart mit dem in der Verfolgungsliste L1 registrierten Aufhebungsschild vorhanden ist oder nicht, auf Basis der erkannten Informationen (in der Vergangenheit erkannte Schildinformationen, etwa eine Aufstellposition, eine Größe, ein Typ, eine Registrierungsnummer und dergleichen des Schilds) wie in der Erkannt-Liste L2 registriert. Wenn ein in der Vergangenheit einer Bildgebung unterzogenes Geschwindigkeitsbegrenzungsschild in der Erkannt-Liste L2 registriert wurde wie in 8B beispielsweise, wird dieses als ein Kandidat für das Schildpaar extrahiert. Da eine Wahrscheinlichkeit besteht, dass eine große Zahl von Teilen von in der Vergangenheit erkannten Schildinformationen in der Erkannt-Liste L2 registriert wurden, wird dieses unmittelbar zuvor registrierte Schild als ein Kandidat für das Schildpaar in diesem Schritt bestimmt. Wenn ein Geschwindigkeitsbegrenzungsschild, das ein erster Schildpaarkandidat ist, an einem Mast vor einem Aufhebungsschild installiert ist und ein Überholverbotsschild, das ein zweiter Schildpaarkandidat ist, an einem Mast vor dem Geschwindigkeitsbegrenzungsschild installiert ist wie beispielsweise in 10B dargestellt, wird das unmittelbar zuvor registrierte Geschwindigkeitsbegrenzungsschild als ein Schildpaar registriert, während das zuvor registrierte Überholverbotsschild nicht als ein Schildpaar bestimmt wird.
Obgleich sowohl die Verarbeitung in Schritt S4aa bis Schritt S4ad entsprechend der Umgebung von 8A und die Verarbeitung in Schritt S4af bis Schritt S4ah entsprechend der Umgebung von 8B in 9 ausgeführt werden, kann eine Konfiguration, in der nur eine von der Verarbeitung in Schritt S4aa bis Schritt S4ad und der Verarbeitung in Schritt S4af bis Schritt 4ah ausgewählt und durchgeführt wird, gemäß einer Verkehrsregel verwendet werden, wenn das Land, in dem das Trägerfahrzeug fährt, durch Verwenden von von einem GPS oder dergleichen erfassten Positionsinformationen spezifiziert werden kann.
Wenn die Verarbeitung in Schritt S4a wie in 9 dargestellt beendet ist, kann das mit dem Aufhebungsschild gepaarte Hauptschild ungeachtet der Installationsart (8A und 8B) des Aufhebungsschilds extrahiert werden. Es besteht aber eine Wahrscheinlichkeit, dass eine wirksame gerade Linie, die tatsächlich kein Aufhebungsschild ist, als ein Kandidat in Schritt S45 extrahiert wurde wie zuvor beschrieben; ob der in Schritt S48 extrahierte Kandidat wirklich ein Aufhebungsschild ist, wird anhand der Farbinformationen des in Schritt S4a extrahierten Schildpaars (des Hauptschilds als eines vom Paar) ebenfalls in der folgenden Verarbeitung geprüft. Die Farbinformationen des Hauptschilds werden in Schritt S48 erfasst und im Speicher gespeichert.
In Schritt S4b bestimmt die Berechnungsverarbeitungseinheit 23, ob die Verarbeitung zum Bestimmen, ob der Aufhebungsschild wahr oder falsch ist (Schritt S4c), in der Zeitzone durchgeführt werden kann. Bei Verwendung der Farbinformationen des Schildpaars in Schritt S4c wie nachfolgend beschrieben weisen einige Farbinformationen des Schildpaars eine hohe Zuverlässigkeit auf, wenn sie auf einem am Tag erfassten Bild basieren, und andere Farbinformationen weisen eine niedrige Zuverlässigkeit auf, wenn sie auf einem nachts erfassten Bild basieren. Somit wird in diesem Schritt der Unterschied zwischen Tag und Nacht auf Basis von von einem integrierten Zeitgeber der elektronischen Steuereinheit oder einem GPS beispielsweise erfassten Uhrzeitinformationen bestimmt und die Umgebung wird als eine bestimmt, in der Farbinformationen mit hoher Zuverlässigkeit erfasst werden können, und die Verarbeitung fährt am Tag mit Schritt S4c fort, oder die Umgebung wird als eine bestimmt, in der es schwierig ist, Farbinformationen mit hoher Zuverlässigkeit zu erfassen, und die Verarbeitung fährt nachts mit Schritt S4d fort. Da die Verarbeitung in Schritt S4c nicht ausgeführt werden kann, wenn der Hauptschildkandidat nicht in Schritt S43 extrahiert wird, und es nicht erforderlich ist, die Verarbeitung in Schritt S4c durchzuführen, um zu bestimmen, ob der Kandidat wahr oder falsch ist, wenn kein Kandidat für ein Aufhebungsschild in Schritt S48 extrahiert wird, wird Schritt S4c ausgelassen und die Verarbeitung fährt auch in diesen Fällen mit Schritt S4c fort.
In Schritt S4c bestimmt die Berechnungsverarbeitungseinheit 23, ob der in Schritt S48 extrahierte Kandidat für das Aufhebungsschild wahr oder falsch ist, und wenn der Kandidat ein falsches Aufhebungsschild ist (falls er beispielsweise ein Mast ist), lehnt die Berechnungsverarbeitungseinheit 23 den Kandidaten ab. Obgleich der Kandidat für das Aufhebungsschild auf Basis des blauen Farbwerts der wirksamen geraden Linie in Schritt S48 wie zuvor beschrieben extrahiert wird, wird der Schwellenwert zum Vergleich mit dem blauen Farbwert der wirksamen geraden Linie als niedrig festgelegt, um nicht ein mit einem farbigen Licht beleuchtetes Aufhebungsschild oder ein Aufhebungsschild bei Bewölkung oder regnerischem Wetter aus Kandidaten auszuschließen, und ein Extrahieren der wirksamen geraden Linien, die tatsächlich keine Aufhebungsschilder sind, als Kandidaten wird ermöglicht. Somit ist dieser Schritt dazu ausgebildet, eine genaue Bestimmung, ob der Kandidat für das Aufhebungsschild wahr oder falsch ist, ungeachtet der Außenumgebung zu ermöglichen, indem der zum Bestimmen, ob der Kandidat für das Aufhebungsschild wahr oder falsch ist oder nicht, in Bezug auf den Farbwert des Hauptschilds wie in Schritt S42 erfasst verwendete Schwellenwert angepasst wird.
Wenn das Hauptschild ein Geschwindigkeitsbegrenzungsschild mit einem roten ringförmigen Außenumfang des Schilds wie in 11 beispielsweise ist, wird davon ausgegangen, dass der rote Farbwert im Fenster mit einer Form, in welcher der rotfarbige ringförmige Teil angeordnet ist, ein hoher Wert ist. Wenn aber dieses Hauptschild mit farbigem Licht beleuchtet wird, etwa weil Bewölkung oder windiges Wetter vorliegt, sonniges Wetter vorliegt oder dergleichen, wird davon ausgegangen, dass sich der rote Farbwert des Hauptschilds (Geschwindigkeitsbegrenzungsschild) ändert. In diesem Fall wird ebenfalls davon ausgegangen, dass sich der blaue Farbwert des Aufhebungsschilds ebenfalls im gleichen Umfang ändert.
Daher wird in diesem Schritt der Schwellenwert für den blauen Farbwert zum Bestimmen, ob der Kandidat für das Aufhebungsschild wahr oder falsch ist, ebenfalls als niedrig festgelegt, wenn der rote Farbwert des Hauptschilds (Geschwindigkeitsbegrenzungsschild) niedrig ist, und der Schwellenwert für den blauen Farbwert wiederum wird als hoch festgelegt, wenn der rote Farbwert hoch ist. Das heißt, der Schwellenwert für die Farbinformationen zum Erkennen des Aufhebungsschilds wird durch Verwenden der Farbinformationen (beispielsweise des blauen Farbwerts (das heißt der Zuverlässigkeit, dass die Farbe eine blaue Farbe ist)), erfasst zum Zeitpunkt der Erkennung des Hauptschilds, bestimmt. Ebenfalls kann der Schwellenwert für die Farbinformationen zum Erkennen des Aufhebungsschilds auf Basis einer Änderungsrate der zum Zeitpunkt der Erkennung des Hauptschilds erfassten Farbinformationen in Bezug auf die Farbinformationen eines Musterbilds des Hauptschilds statt der zum Zeitpunkt der Erkennung des Hauptschilds erfassten Farbinformationen an sich bestimmt werden. Die Farbinformationen des Hauptschilds und die Änderungsrate der Farbinformationen des Hauptschilds werden zusammenfassend als eine „Zuverlässigkeit“ des Hauptschilds bezeichnet.
Es kann ungeachtet der Umgebung genau bestimmt werden, ob der Kandidat für das Aufhebungsschild wahr oder falsch ist, indem der Schwellenwert für die Farbinformationen (beispielsweise für den blauen Farbwert) wie auf diese Weise angepasst verwendet wird.
Schließlich bezieht sich die Berechnungsverarbeitungseinheit 23 auf die Verfolgungsliste L1 oder die Erkannt-Liste L2 wie zuvor beschrieben und legt das Ergebnis des Identifizierens des Schilds in Schritt S4d fest. Das' heißt, wenn die Verarbeitung von Schritt S45 zu Schritt S46 fortfährt, wird lediglich der in Schritt S43 identifizierte Hauptschildkandidat als ein Schild und als ein Identifizierungsergebnis festgelegt. Wenn hingegen die Verarbeitung von Schritt S45 zu Schritt S47 fortfährt, wird beispielsweise der in Schritt S43 identifizierte Hauptschildkandidat als das Schildpaar des in Schritt S48 und S4c extrahierten Aufhebungsschildkandidaten identifiziert. Anschließend wird, wenn das Schildpaar in diesem Schritterkannt wird, ein Steuerungskonzept zum Aufheben der Beschränkung wie durch das Hauptschild angegeben im folgenden Schritt S5 bestimmt. „Festlegen“ bedeutet hier, dass die vom erkannten Schild ermittelten Informationen als ein Erkennungsverarbeitungsergebnis zum Steuern der Verarbeitung (S5 in 2) in der späteren Stufe ausgegeben werden.
Gemäß der Stereokameravorrichtung 100 der vorliegenden Ausführungsform wie zuvor beschrieben kann nicht nur das in 11(a) dargestellte Aufhebungsschild genau erkannt werden, sondern es kann auch eine fehlerhafte Erfassung eines oberen Endteils eines Masten mit einem ähnlichen Winkel und einer ähnlichen Dicke wie beim diagonalen Abschnitt des in 11(b) dargestellten Aufhebungsschilds als ein Aufhebungsschild verringert werden, und es kann die Zuverlässigkeit der Schilderfassung verbessert werden.
Obgleich die vorhergehende Ausführungsform durch Verwenden der Stereokameravorrichtung 100, ausgebildet durch zwei Kameras, beschrieben wurde, können auch eine Kamera oder drei oder mehr Kameras verwendet werden. Ebenso kann jede der zuvor beschriebenen Konfigurationen, Funktionen, Verarbeitungseinheiten, Verarbeitungsmittel und dergleichen teilweise oder vollständig beispielsweise durch Hardware, beispielsweise in Form einer integrierten Schaltung, ausgeführt werden. Zusätzlich kann jede der vorhergehenden Konfigurationen, Funktionen und dergleichen durch Software durch einen Prozessor zum Interpretieren und Ausführen eines Programms zum Ausführen jeder Funktion ausgeführt sein. Informationen wie ein Programm, eine Tabelle, eine Datei und dergleichen zum Ausführen von jeder Funktion können auf einer Aufzeichnungsvorrichtung wie einem Speicher, einer Festplatte oder einem Solid State Drive (SSD) oder einem Aufzeichnungsmedium wie einer IC-Karte, einer SD-Karte oder einer DVD angeordnet sein.
Bezugszeichenliste

100: Stereokameravorrichtung
1: Kamera
1L: linke Kamera
1R: rechte Kamera
2: Schilderkennungsvorrichtung
21: Bildeingabe-Schnittstelle
22: Bildverarbeitungseinheit
23: Berechnungsverarbeitungseinheit
24: Speichereinheit
24a: Bildpuffer
24b: Identifizierer
25: CAN-Schnittstelle
26: Überwachungsverarbeitungseinheit
27: interner Bus
CAN: Bordnetz

Claims

Schilderkennungsvorrichtung, umfassend: eine Schildkandidat-Erkennungseinheit, die einen Kandidaten eines vorbestimmten Schildtyps in einem Bild erkennt; eine Paarschild-Sucheinheit, die ein erstes Schild mit einem zum Entsprechen dem ersten Schild installierten zweiten Schild verbindet, wenn ein Kandidat des ersten Schilds als der Kandidat des vorbestimmten Schildtyps erkannt wird; eine Farbinformations-Extrahierungseinheit, die Farbinformationen des mit dem ersten Schild verbundenen zweiten Schilds extrahiert, wenn das zum Entsprechen dem ersten Schild installierte zweite Schild vorhanden ist; und eine Schwellenwert-Bestimmungseinheit, die einen Schwellenwert zum Extrahieren von Farbinformationen des Kandidaten des ersten Schilds auf Basis der Zuverlässigkeit der Farbinformationen des zweiten Schilds, extrahiert von der Farbinformations-Extrahierungseinheit, bestimmt.
Schilderkennungsvorrichtung nach Anspruch 1, wobei die Paarschild-Sucheinheit bestimmt, ob das zum Entsprechen dem ersten Schild installierte zweite Schild vorhanden ist oder nicht, und wenn das zweite nicht mit dem ersten Schild verbunden ist, die Paarschild-Sucheinheit einen Schwellenwert verwendet, der sich vom Schwellenwert unterscheidet.
Schilderkennungsvorrichtung nach Anspruch 1, ferner umfassend eine Schildkandidat-Speichereinheit, die in einer Zeitreihenweise Erkennungsergebnisse der Schildkandidat-Erkennungseinheit speichert, wobei die Paarschild-Sucheinheit bestimmt, ob das zum Entsprechen dem ersten Schild installierte zweite Schild vorhanden ist oder nicht, und wenn das zweite Schild nicht mit dem ersten Schild verbunden ist, die Paarschild-Sucheinheit ein zweites Schild zum Verbinden mit dem ersten Schild aus den in der Schildkandidat-Speichereinheit gespeicherten Erkennungsergebnissen extrahiert.
Schilderkennungsvorrichtung nach Anspruch 1, wobei, wenn Informationen in Bezug auf eine Vielzahl von ersten Schildern in einer Verfolgungsliste registriert sind, ein erstes Schild, das dem zweiten Schild am nächsten ist, als ein Schildpaar verbunden wird.
Schilderkennungsvorrichtung nach Anspruch 1, wobei wenn ein Fahrzeug das erste Schild passiert, Informationen in Bezug auf ein in einer Verfolgungsliste registriertes erstes Schild in eine Erkannt-Liste übertragen werden, und ein Kandidat eines in der Verfolgungsliste registrierten zweiten Schilds und des in der Erkannt-Liste registrierten ersten Schilds miteinander als ein Schildpaar verbunden werden.
Schilderkennungsvorrichtung nach Anspruch 5, wobei, wenn Informationen in Bezug auf eine Vielzahl von ersten Schildern in einer Erkannt-Liste registriert sind, ein unmittelbar zuvor registriertes erstes Schild als ein Schildpaar verbunden wird.
Schilderkennungsverfahren, umfassend die Schritte zum: Erkennen eines Kandidaten eines vorbestimmten Schildtyps aus einem von einer Bordkamera erfassten Bild; Verbinden eines ersten Schilds mit einem zum Entsprechen dem ersten Schild installierten zweiten Schild, wenn ein Kandidat des ersten Schilds als der Kandidat des vorbestimmten Schildtyps erkannt wird; Extrahieren von Farbinformationen des mit dem ersten Schild verbundenen zweiten Schilds, wenn das zum Entsprechen dem ersten Schild installierte zweite Schild vorhanden ist; und Bestimmen eines Schwellenwerts zum Extrahieren von Farbinformationen des Kandidaten des ersten Schilds auf Basis der Zuverlässigkeit der extrahierten Farbinformationen des zweiten Schilds.
Schilderkennungsverfahren nach Anspruch 7, wobei beim Bestimmen, ob das zum Entsprechen dem ersten Schild installierte zweite Schild vorhanden ist oder nicht und das zweite Schild nicht mit dem ersten Schild verbunden ist, ein Schwellenwert verwendet wird, der sich vom Schwellenwert unterscheidet.
Schilderkennungsverfahren nach Anspruch 7, ferner umfassend einen Schritt zum Speichern von Erkennungsergebnissen in einer Zeitreihenweise, wobei beim Bestimmen, ob das zum Entsprechen dem ersten Schild, installierte zweite Schild vorhanden ist oder nicht und ob das zweite Schild nicht mit dem ersten Schild verbunden ist ein zum Verbinden mit dem ersten Schild aus den gespeicherten Erkennungsergebnissen extrahiert wird.
Schilderkennungsverfahren nach Anspruch 7, wobei, wenn Informationen in Bezug auf eine Vielzahl von ersten Schildern in einer Verfolgungsliste registriert sind, ein erstes Schild, das dem zweiten Schild am nächsten ist, als ein Schildpaar verbunden wird.
Schilderkennungsverfahren nach Anspruch 7, umfassend die Schritte zum: Übertragen von Informationen in Bezug auf ein in einer Verfolgungsliste registriertes erstes Schild in eine Erkannt-Liste, wenn ein Fahrzeug das erste Schild passiert; und Verbinden eines Kandidaten eines in der Verfolgungsliste registrierten zweiten Schilds mit dem in der Erkannt-Liste registrierten ersten Schilds als ein Schildpaar.
Schilderkennungsverfahren nach Anspruch 11, wobei, wenn Informationen in Bezug auf eine Vielzahl von ersten Schildern in einer Erkannt-Liste registriert sind, ein unmittelbar zuvor registriertes erstes Schild als ein Schildpaar verbunden wird.