DE102018110972A1

DE102018110972A1 - Fahrzeugaußenumgebung-Erkennungsvorrichtung

Info

Publication number: DE102018110972A1
Application number: DE102018110972.5A
Authority: DE
Inventors: Aito KANNO
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2017-05-17
Filing date: 2018-05-08
Publication date: 2018-11-22
Also published as: JP6514736B2; CN108944926A; US20180336422A1; CN108944926B; JP2018195037A; US10643083B2

Abstract

Eine Fahrzeugaußenumgebung-Erkennungsvorrichtung umfasst einen Dreidimensionales-Objekt-Bereich-Identifizierer, einen Radbereich-Identifizierer und einen Radbestimmer. Der Dreidimensionales-Objekt-Bereich-Identifizierer ist dahingehend konfiguriert, einen dreidimensionalen Objektbereich aus einem Bild zu identifizieren. Der Dreidimensionales-Objekt-Bereich beinhaltet ein dreidimensionales Objekt. Der Radbereich-Identifizierer ist dahingehend konfiguriert, einen Radbereich aus dem Dreidimensionales-Objekt-Bereich zu identifizieren. Der Radbereich umfasst ein mutmaßliches Rad, das einem Rad eines Fahrrads zu entsprechen scheint. Der Radbestimmer ist dahingehend konfiguriert, zu bestimmen, ob ein Flächenverhältnis kleiner als ein vorbestimmter Wert ist oder nicht. Das Flächenverhältnis ist ein Verhältnis von einer Fläche eines Segments des Radbereichs zu der Fläche des Radbereichs, wobei ein relativer Abstand von dem Segment zu einem eigenen Fahrzeug in einen vorbestimmten Bereich fällt.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Die vorliegende Anmeldung beansprucht die Priorität der japanischen Patentanmeldung Nr. 2017-097773 , eingereicht am 17. Mai 2017, deren gesamte Inhalte hiermit unter Bezugnahme aufgenommen werden.
HINTERGRUND
Die Erfindung betrifft eine Fahrzeugaußenumgebung-Erkennungsvorrichtung, die ein spezifisches Objekt identifiziert, das in einer Fahrtrichtung eines eigenen Fahrzeugs vorhanden ist.
Es ist eine Technologie bekannt, die das Erkennen eines dreidimensionalen Objektes, wie zum Beispiel eines Fahrzeugs, das sich vor einem eigenen Fahrzeug befindet, und das Durchführen einer Steuerung zur Verhinderung einer Kollision mit einem vorausfahrenden Fahrzeug (d.h. eine Kollisionsvermeidungssteuerung) oder das Durchführen einer Steuerung zur Einhaltung eines sicheren Zwischenfahrzeugabstandes zu dem vorausfahrendes Fahrzeug (d.h. eine Geschwindigkeitsregelung) umfasst. Beispielhaft wird hier Bezug genommen auf das japanische Patent Nr. 3349060 .
Als eine Technologie zum Detektieren eines dreidimensionalen Objekts, offenbart die japanische ungeprüfte Patentanmeldungsveröffentlichung ( JP-A) Nr. 2008-134877 eine Technik, die das Erkennen eines parallelfahrenden Fahrzeugs, das parallel zu dem eigenen Fahrzeug fährt, unter Bezug auf ein Bildmuster, das seitlich des eigenen Fahrzeugs fotografiert wurde, basierend auf der Symmetrie eines Randes des eigenen Fahrzeugs in einer Front-Heck-Richtung des eigenen Fahrzeugs, umfasst.
ZUSAMMENFASSUNG DER ERFINDUNG
Gemäß einem Aspekt der vorliegenden Erfindung wird eine Fahrzeugaußenumgebung-Erkennungsvorrichtung angegeben, welche einen Dreidimensionales-Objekt-Bereich-Identifizierer, einen Radbereich-Identifizierer und einen Radbestimmer umfasst. Der Dreidimensionales-Objekt-Bereich-Identifizierer ist dahingehend konfiguriert, einen Dreidimensionales-Objekt-Bereich aus einem Bild zu identifizieren. Der Dreidimensionales-Objekt-Bereich beinhaltet ein dreidimensionales Objekt. Der Radbereich-Identifizierer ist dahingehend konfiguriert, einen Radbereich aus dem Dreidimensionales-Objekt-Bereich zu identifizieren. Der Radbereich beinhaltet ein mutmaßliches Rad, das einem Rad eines Fahrrads zu entsprechen scheint. Der Radbestimmer ist dahingehend konfiguriert, zu bestimmen, ob ein Flächenverhältnis kleiner als ein vorbestimmter Wert ist oder nicht. Das Flächenverhältnis ist ein Verhältnis von einer Fläche eines Segments des Radbereichs zu der Fläche des Radbereichs, wobei ein relativer Abstand von dem Segment zu einem eigenen Fahrzeug in einen vorbestimmten Bereich fällt.
Figurenliste

1 ist ein Blockdiagramm, das eine Verknüpfungsbeziehung in einem Fahrzeugaußenumgebung-Erkennungssystem darstellt.
2A und 2B beschreiben jeweils ein Luminanzbild und ein Distanzbild.
3 zeigt ein Funktionsblock-Diagramm, das schematische Funktionen einer Fahrzeugaußenumgebung-Erkennungsvorrichtung darstellt.
4 ist ein Flussdiagramm, das ein Beispiel eines Ablaufs eines Fahrzeugaußenumgebung-Erkennungsprozesses darstellt.
5 beschreibt ein Beispiel eines Dreidimensionales-Objekt-Bereich-Identifikationsprozesses.
6A und 6B beschreiben ein Beispiel eines Radbereich-Identifikationsprozesses.
7 beschreibt ein Beispiel des Radbereich-Identifikationsprozesses.
8 beschreibt ein Beispiel des Radbereich-Identifikationsprozesses.
9 beschreibt ein Beispiel eines Radbestimmungsprozesses.

DETAILLIERTE BESCHREIBUNG
Nachfolgend werden einige bevorzugte, jedoch nicht einschränkende, Ausführungsformen der Erfindung im Detail unter Bezug auf die beigefügten Zeichnungen beschrieben. Es sei darauf hingewiesen, dass Größen, Materialien, spezifische Werte und andere Faktoren, die in den jeweiligen Ausführungsformen dargestellt sind, beispielhaft sind, um die Erfindung einfacher zu verstehen, und nicht beabsichtigen, den Umfang der Erfindung einzuschränken, sofern dies nicht speziell angegeben ist. Des Weiteren sind Elemente in den folgenden beispielhaften Ausführungsformen, die nicht in einem höchst allgemeinen unabhängigen Anspruch der Offenbarung aufgeführt sind, optional und können bei Bedarf bereitgestellt werden. Die Zeichnungen sind schematisch und nicht notwendigerweise maßstabsgetreu. In der gesamten vorliegenden Beschreibung und den Zeichnungen sind Elemente, die im Wesentlichen die gleiche Funktion und Konfiguration aufweisen, mit den gleichen Bezugszeichen bezeichnet, um eine redundante Beschreibung zu vermeiden. Weiterhin sind Elemente, die nicht in direktem Bezug zu der Erfindung stehen, in den Zeichnungen nicht dargestellt.
Nicht einschränkende Beispiele eines spezifischen Objekts, welches sich in einer Fahrtrichtung eines eigenen Fahrzeugs befindet, können ein vorausfahrendes Fahrzeug, das in eine gleiche Richtung fährt, und Objekte wie zum Beispiel einen Fußgänger oder ein Fahrrad, die einen Fahrtweg in einer seitlichen Richtung des eigenen Fahrzeugs queren, umfassen. Bezüglich der Objekte, wie zum Beispiel dem Fußgänger und dem Fahrrad, die den Fahrtweg queren, ist es wünschenswert, ihre Fußgänger- oder Fahrradwahrscheinlichkeit basierend auf ihren Umrissen zu bestimmen. Das Fahrrad quert jedoch grundsätzlich schneller, als dies der Fußgänger tut. Wenn eine Kollisionsvermeidungssteuerung bis zur Bestätigung des gesamten Umrisses des Fahrrads aufgeschoben wird, kann ein Abstand von dem eigenen Fahrzeug zu dem Fahrrad während des Aufschiebens kurz werden. Dies kann ein abruptes Eingreifen der Kollisionsvermeidungssteuerung erfordern. Es ist daher wünschenswert, ein Rad oder eine Kreisform als einen Teil des Fahrrads zu identifizieren, beispielsweise durch Hough-Transformation, was zu einer noch früheren Identifizierung des Fahrrads selbst führt.
Es gibt jedochverschiedenartige dreidimensionale Objekte in der Fahrtrichtung des eigenen Fahrzeugs. Einige dreidimensionale Objekte können Formen und Oberflächenfarbe aufweisen, die einem Kreis bzw. einem Rad ähneln. Dies kann zu einer fehlerhaften Erfassung eines dreidimensionalen Objekts führen, das eigentlich kein Fahrrad oder einer Rad eines Fahrrads ist.
Es ist wünschenswert, eine Fahrzeugaußenumgebung-Erkennungsvorrichtung bereitzustellen, die es ermöglicht, ein spezifisches Objekt, wie zum Beispiel ein Fahrrad, mit hoher Genauigkeit zu erkennen.
[Fahrzeugaußenumgebung-Erkennungssystem 100]
1 ist ein Blockdiagramm, das eine Verknüpfungsbeziehung in einem Fahrzeugaußenumgebung-Erkennungssystem 100 darstellt. Das Fahrzeugaußenumgebung-Erkennungssystem 100 kann Bildaufnahmeeinheiten 110, eine Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 und ein Fahrzeug-Steuergerät (zum Beispiel eine Motorsteuereinheit (ECU)) 130 umfassen. Die Ausführungsform kann, ohne hierauf beschränkt zu sein, zwei Bildaufnahmeeinheiten 110 aufweisen.
Die zwei Bildaufnahmeeinheiten 110 können jeweils ein Bildgebungsgerät, wie zum Beispiel, jedoch nicht beschränkt auf, ein ladungsgekoppeltes Bauteil (CCD) und einen komplementären Metalloxid-Halbleiter (CMOS) umfassen. Die Bildaufnahmeeinheiten 110 können beide dazu ausgelegt sein, ein Bild von der Fahrzeugaußenumgebung vor dem eigenen Fahrzeug 1 aufzunehmen und ein Luminanzbild zu erzeugen, das zumindest die Informationen über die Luminanz enthält. Das Luminanzbild kann ein Farbbild oder ein monochromes Bild sein. Die zwei Bildaufnahmeeinheiten 110 können derart angeordnet sein, dass deren jeweilige optische Achsen im Wesentlichen parallel zueinander werden längs einer Fahrtrichtung des eigenen Fahrzeugs 1. Die zwei Bildaufnahmeeinheiten 110 können derart angeordnet sein, dass sie in einer im Wesentlichen horizontalen Richtung voneinander beabstandet sind. Die Bildaufnahmeeinheiten 110 können kontinuierlich das Luminanzbild für jedes Einzelbild generieren, zum Beispiel, aber nicht beschränkt auf, jede 1/60 Sekunde (bei einer Bildrate von 60 Bilder pro Sekunde). Das Luminanzbild kann ein Bild sein, das ein dreidimensionales Objekt aufnimmt, das sich in einem detektierten Bereich vor dem eigenen Fahrzeug 1 befindet. Nicht einschränkende Beispiele der dreidimensionalen Objekte, die von der Bildaufnahmeeinheit 110 erkannt werden, können ein unabhängig vorhandenes dreidimensionales Objekt und ein Objekt, das Teil des unabhängig vorhandenen Objekts ist, umfassen. Nicht einschränkende Beispiele für das unabhängig vorhandene Objekt können ein Fahrrad, einen Fußgänger, ein Fahrzeug, eine Ampel, eine Straße (oder einen Fahrtweg), ein Verkehrsschild, eine Leitplanke und ein Gebäude umfassen. Nicht einschränkende Beispiele des Objekts, das Teil des unabhängig vorhandenen Objekts ist, können ein Rad eines Fahrrads umfassen.
Die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 kann die Luminanzbilder von den jeweiligen Bildaufnahmeeinheiten 110 erhalten und eine Parallaxeinformation unter Verwendung eines sogenannten Musterabgleichs herleiten. Der Musterabgleich kann das Extrahieren eines beliebigen Blocks (zum Beispiel eines Arrays von vier Pixeln horizontal mal vier Pixeln vertikal) von einem der Luminanzbilder und das Suchen nach einem entsprechenden Block in einem anderen der Luminanzbilder umfassen. Die Parallaxeinformation kann eine Parallaxe und eine Bildposition irgendeines Blocks umfassen. Die Bildposition zeigt eine Position eines beliebigen Blocks auf einem Bild an. In dieser Ausführungsform bezieht sich der Begriff „horizontal“ auf eine seitliche Richtung des aufgenommen Bildes auf dem Bild (der Bildfläche), während sich der Begriff „vertikal“ auf eine vertikale Richtung des aufgenommenen Bildes auf dem Bild (der Bildfläche) bezieht. Ein mögliches Beispiel für den Musterabgleich kann sein, ein Bildpaar bezüglich der Luminanz (Y) blockweise zu vergleichen. Nicht einschränkende Beispiele können Techniken wie SAD (Summe der absoluten Differenz), SSD (Summe der quadrierten Intensitätsdifferenz) und ZNCC (nullwertige normalisierte Kreuzkorrelation) umfassen.
Die SAD umfasst das Erhalten von Unterschieden in der Luminanz. Die SSD umfasst die Verwendung der Unterschiede im Quadrat. Die ZNCC umfasst das Erhalten einer Ähnlichkeit von Varianzwerten, die durch das Subtrahieren eines Durchschnittswerts von Luminanzwerten von Pixeln erhalten werden. Die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 kann einen solchen Block-für-Block Parallaxeherleitungsvorgang für alle Blöcke durchführen, die in der detektierten Region von beispielsweise 600 mal 200 Pixel angezeigt werden. In dieser Ausführungsform wird angenommen, dass ein Block das Array von vier mal vier Pixel ist, jedoch kann die Anzahl der Pixel innerhalb eines Blocks auf einen beliebigen Wert gesetzt werden.
Es sei darauf hingewiesen, dass die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 dazu in der Lage ist, die Parallaxe für jeden der Blöcke herzuleiten, die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 jedoch nicht erkennen kann, zu welcher Art von Objekt jeder der Blöcke gehört. Der Block dient als eine Einheit der Detektionssauflösung. Daraus folgt, dass die Parallaxeninformation nicht durch das Objekt, sondern unabhängig durch die Detektionssauflösung in dem detektierten Bereich, zum Beispiel durch den Block, hergeleitet wird. In dieser Ausführungsform wird, im Unterschied zum zuvor erwähnten Luminanzbild, ein Bild, mit dem die so hergeleitete Parallaxeninformation korreliert, als ein Distanzbild bezeichnet.
2A und 2B beschreiben das Luminanzbild 126 beziehungsweise das Distanzbild 128. 2A beschreibt ein nicht einschränkendes Beispiel, in dem das, wie in 2A dargestellte, Luminanzbild 126 für den detektierten Bereich 124 mittels der zwei Bildaufnahmeeinheiten 110 generiert wird. Es sei darauf hingewiesen, dass 2A zum einfacheren Verständnis nur eines der zwei Luminanzbilder 126, die von den entsprechenden Bildaufnahmeeinheiten 110 erzeugt werden, schematisch darstellt. Die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 kann die Parallaxe für jeden der Blöcke aus den Luminanzbildern 126 erhalten, um das Distanzbild 128, wie in 2B dargestellt, zu bilden. Jeder der Blöcke in dem Distanzbild 128 kann mit der Parallaxe des relevanten Blocks assoziiert werden. Zum Zweck der Beschreibung ist jeder der Blöcke, für den die Parallaxe hergeleitet wird, schwarzpunktiert gekennzeichnet.
Zudem kann die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 die Gruppierung von Blöcken als ein Objekt durchführen. Die Gruppierung kann unter Verwendung von Luminanzwerten durchgeführt werden, i.e. Farbwerten, basierend auf dem Luminanzbild 126, und unter Verwendung von dreidimensionalen Positionsinformationen im realen Raum. Die dreidimensionalen Positionsinformationen können basierend auf dem Distanzbild 128 berechnet werden und einen relativen Abstand zu dem eigenen Fahrzeug 1 umfassen. Die Blöcke, die gruppiert werden sollen, können gleiche Farbwerte und enge relative Entfernungen haben, die in den dreidimensionale Positionsinformationen enthalten sind. Die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 kann identifizieren, welchem spezifischen Objekt das Objekt in dem detektierten Bereich vor dem eigenen Fahrzeug 1 entspricht. Nicht einschränkende Beispiele des spezifischen Objekts können ein vorausfahrendes Fahrzeug und ein Fahrrad umfassen. Zudem kann die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 des Weiteren, beim Identifizieren des dreidimensionale Objekts auf diese Weise, das eigene Fahrzeug 1 steuern, um eine Kollision mit dem dreidimensionalen Objekt zu vermeiden (d.h. eine Kollisionsvermeidungssteuerung) oder einen sicheren Fahrzeugabstand zu dem vorausfahrenden Fahrzeug zu halten (d.h. eine Geschwindigkeitsregelung). Es sei darauf hingewiesen, dass der zuvor genannte relative Abstand durch das Umwandeln der Parallaxeninformation für jeden der Blöcke in dem Distanzbild 128 zu der dreidimensionalen Positionsinformation erhalten werden kann, unter Verwendung eines sogenannten Stereoverfahrens. In dieser Ausführungsform bezieht sich das Stereoverfahren auf ein Verfahren zur Herleitung, aus der Parallaxe des Objekts, der relativen Distanz des relevanten Objekts unter Berücksichtigung der Bildaufnahmeeinheiten 110, unter Verwendung von Triangulation.
Das Fahrzeug-Steuergerät 130 kann das eigene Fahrzeug 1 steuern, indem es eine Bedienungseingabe des Fahrers durch ein Lenkrad 132, ein Gaspedal 134 und ein Bremspedal 136 aufnimmt und diese Bedienungseingabe an einen Lenkmechanismus 142, einen Antriebsmechanismus 144 und einen Bremsmechanismus 146 übermittelt. Das Fahrzeug-Steuergerät 130 kann den Lenkmechanismus 142, den Antriebsmechanismus 144 und den Bremsmechanismus 146 in Übereinstimmung mit Befehlen der Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 steuern.
Wie beschrieben, kann das Fahrzeugaußenumgebung-Erkennungssystem 100 die Objekte, wie zum Beispiel den Fußgänger und das Fahrrad, identifizieren, die den Fahrtweg in der seitlichen Richtung des eigenen Fahrzeugs queren. Bezüglich der Objekte, wie zum Beispiel dem Fußgänger und dem Fahrrad, die den Fahrtweg queren, ist es wünschenswert ihre Fußgängerwahrscheinlichkeit oder Fahrradwahrscheinlichkeit zu bestimmen, basierend auf ihren Umrissen. Das Fahrrad quert jedoch schneller als dies der Fußgänger tut. Wenn die Kollisionsvermeidungssteuerung bis zur Bestätigung des gesamten Umrisses des Fahrrads aufgeschoben wird, kann ein Abstand des eigenen Fahrzeugs 1 zu dem Fahrrad während des Aufschiebens kurz werden. Dies kann ein abruptes Eingreifen der Kollisionsvermeidungssteuerung erfordern.
Folglich ist es, wenn ein Fahrrad in das Luminanzbild von außerhalb des Luminanzbilds gelangt, wünschenswert, zeitnah die Möglichkeit zu erkennen, dass es sich bei dem Ankommendem um ein Fahrrad handeln könnte, indem ein Teil des Fahrrads erfasst wird, was zu einer erhöhten Reaktionsfähigkeit führt. In der Ausführungsform ist es daher, wenn ein Rad (d.h. ein Vorderrad) als ein Teil eines Fahrrads auf dem Bild erscheint, wünschenswert, seine Radähnlichkeit zutreffend zu bestimmen, basierend auf seiner Form, d.h. einer Kreisform, um das Fahrrad zeitnah zu erkennen und die Kollisionsvermeidungssteuerung stabil auszuführen. Jedoch gibt es viele verschiedene dreidimensionale Objekte in der Fahrtrichtung des eigenen Fahrzeugs 1. Einige dreidimensionale Objekte können Formen und eine Oberflächenfarbe aufweisen ähnlich derjenigen eines Kreises, d.h. eines Rades. Dies kann zu der fehlerhaften Detektion des dreidimensionalen Objektes führen, das eigentlich kein Fahrrad bzw. kein Rad eines Fahrrads ist. Folglich ist es in dieser Ausführungsform wünschenswert, das spezifische Objekt, wie zum Beispiel das Fahrrad, mit hoher Genauigkeit unter Verwendung von Abstandsinformation zu erfassen. Wie hier verwendet, bezieht sich die Abstandsinformation auf die Information bezüglich des zuvor erwähnten relativen Abstands.
Nachfolgend wird eine Konfiguration der Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 im Detail beschrieben. Es wird hier eine Beschreibung eines Identifikationsprozesses des dreidimensionalen Objekts (zum Beispiel eines Rads eines Fahrrads) in dem detektierten Bereich vor dem eigenen Fahrzeug 1 im Detail gegeben. Es sei darauf hingewiesen, dass eine Konfiguration, die sich weniger auf Eigenschaften der Ausführungsform bezieht, nicht im Detail beschrieben wird.
[Fahrzeugaußenumgebung-Erkennungsvorrichtung 120]
3 ist ein Funktionsblock-Diagramm, das schematische Funktionen der Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 darstellt. Bezugnehmend auf 3, kann die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 eine Schnittstelle (l/F) 150, einen Datenspeicher 152 und eine zentrale Steuereinrichtung 154 umfassen.
Die Schnittstelle 150 kann eine Schnittstelle sein, die Informationen bidirektional zwischen Vorrichtungen austauscht, die ohne hierauf beschränkt zu sein, die Bildaufnahmeeinheiten 110 und das Fahrzeug-Steuergerät 130 umfassen. Der Datenspeicher 152 kann einen Direktzugriffsspeicher (RAM), eine Flash-Speicher, einen Festplattenspeicher (HTG) oder jede beliebige andere geeignete Speichervorrichtung umfassen. Der Datenspeicher 152 kann verschiedene Informationsteile speichern, die notwendig für Prozesse sind, die von den später beschriebenen Funktionsblöcken ausgeführt werden.
Die zentrale Steuereinrichtung 154 kann eine integrierte Halbleiterschaltung aufweisen und, über einen Systembus 156, Vorrichtungen ansteuern, die, ohne hierauf beschränkt zu sein, die Schnittstelle 150 und den Datenspeicher 152 umfassen. Die integrierte Halbleiterschaltung kann Vorrichtungen aufweisen, wie zum Beispiel, aber nicht beschränkt auf, eine zentrale Prozesseinheit (CPU), einen Festwertspeicher (ROM), in welchem Programme etc. gespeichert sind, und einen Direktzugriffsspeicher (RAM), der als ein Arbeitsbereich dient. In dieser Ausführungsform kann die zentrale Steuereinrichtung 154 als ein Dreidimensionales-Objekt-Bereich-Identifizierer 160, ein Radbereich-Identifizierer162, ein Radbestimmer 164 und ein Fahrradbestimmer 166 funktionieren. Nachfolgend wird, auch auf der Basis der Funktion eines jeden Funktionsblocks der zentralen Steuereinrichtung 154, ein Fahrzeugaußenumgebung-Erkennungsprozess, der, als ein Merkmal dieser Ausführungsform, das Erkennen eines Fahrrads beinhaltet, detailliert beschrieben.
[Fahrzeugaußenumgebung-Erkennungsprozess]
4 ist ein Flussdiagramm, das ein Beispiel eines Ablaufs des Fahrzeugaußenumgebung-Erkennungsprozesses darstellt. Der Fahrzeugaußenumgebung-Erkennungsprozess kann das Ausführen der folgenden Prozesse beinhalten: einen Dreidimensionales-Objekt-Bereich-Identifikationsprozess (S200), einen Radbereich-Identifikationsprozess (S202), einen Radbestimmungsprozess (S204), einen Abschlussbestimmungsprozess (S206) und einen Fahrradbestimmungsprozess (S208). In dem Dreidimensionales-Objekt-Bereich-Identifikationsprozess (S200) identifiziert der Dreidimensionales-Objekt-Bereich-Identifizierer 160 einen Dreidimensionales-Objekt-Bereich aus dem Bild. Der Dreidimensionales-Objekt-Bereich umfasst das dreidimensionale Objekt. In dem Radbereich-Identifikationsprozess (S202) identifiziert der Radbereich-Identifizierer 162 einen Radbereich aus dem Dreidimensionales-Objekt-Bereich. Der Radbereich beinhaltet ein mutmaßliches Rad, das einem Rad eines Fahrrads zu entsprechen scheint. In dem Radbestimmungsprozess (S204) bestimmt der Radbestimmer 164, ob ein Flächenverhältnis kleiner als ein vorbestimmter Wert ist oder nicht. Die Bestimmung kann für jeden identifizierten Radbereich durchgeführt werden, basierend auf der Abstandsinformation. Das Flächenverhältnis ist ein Verhältnis der Fläche eines Segments des Radbereichs zu der Fläche des Radbereichs, wobei der relative Abstand von dem Segment zu dem eigenen Fahrzeug 1 in einen vorbestimmten Bereich fällt. Der Abschlussbestätigungsprozess (S206) kann die Bestätigung umfassen, ob die Bestimmung bezüglich der Radwahrscheinlichkeit für alle einer Vielzahl von Radbereichen abgeschlossen wurde. Zuletzt kann in dem Fahrradbestimmungsprozess (S208) der Fahrradbestimmer 166, basierend auf einem Ergebnis des Radbestimmungsprozesses, bestimmen, ob das dreidimensionale Objekt ein Fahrrad ist oder nicht.
[Dreidimensionales-Objekt-Bereich-Identifikationsprozess S200]
5 beschreibt ein Beispiel eines Dreidimensionales-Objekt-Bereich-Identifikationsprozesses S200. Der Dreidimensionales-Objekt-Bereich-Identifizierer 160 kann sich auf eine Vielzahl von kontinuierlichen (zeitlich unterteilten) Luminanzbildern 126, die von den Bildaufnahmeeinheiten 110 erzeugt werden, beziehen und das dreidimensionale Objekt 210 erkennen, basierend auf einem Unterschied zwischen den Luminanzbildern 126, erzeugt zu unterschiedlichen Zeiten. Das dreidimensionale Objekt 210 kann ein Objekt sein, das in das Luminanzbild 126 von außerhalb des Luminanzbilds 126 kommt und vorbestimmte Bedingungen erfüllt. In dieser Ausführungsform können die vorbestimmten Bedingungen sein, dass der relative Abstand des dreidimensionalen Objekts 210 zu dem eigenen Fahrzeug 1 in dem Distanzbild 128 gleich oder kleiner als ein vorbestimmter Abstand (zum Beispiel 15 m) ist und dass eine Höhe des dreidimensionalen Objekts 210 von einer Bodenebene gleich oder kleiner als eine vorbestimmte Höhe (zum Beispiel 2 m) ist.
Wie in 5 dargestellt, kann, wenn eine horizontale Breite des dreidimensionalen Objekts 210 gleich einer vorbestimmten Detektionsbreite wird, der Dreidimensionales-Objekt-Bereich-Identifizierer 160, als den Dreidimensionales-Objekt-Bereich 212, einen vorbestimmten Bereich des Luminanzbildes 126 identifizieren. Die horizontale Breite des dreidimensionalen Objekts 210 kann eine Differenz sein zwischen einem rechten Ende 126a des Luminanzbildes 126 und einem linken Ende 210a des dreidimensionalen Objekts 210. In dieser Ausführungsform kann der Dreidimensionales-Objekt-Bereich-Identifizierer 160 als den Dreidimensionales-Objekt-Bereich 212 einen rechteckigen Bereich identifizieren, der das dreidimensionale Objekt 210 in einem Bild enthält. Außerdem kann der Dreidimensionales-Objekt-Bereich-Identifizierer 160 bei dieser Gelegenheit, als eine Bewegungsrichtung des dreidimensionalen Objekts 210, eine Richtung längs einer horizontalen Richtung des linken Endes 210a des dreidimensionalen Objektes in Bezug auf das rechte Ende 126a des Luminanzbildes 126 setzen. In einer spezifischen aber nicht einschränkende Ausführungsform, wie in 5 dargestellt, kann, wenn das dreidimensionale Objekt 210 auf der rechten Seite des Luminanzbilds 126 abgebildet ist, die Bewegungsrichtung nach links sein. Wenn das dreidimensionale Objekt 210 sich auf der linken Seite des Luminanzbilds 126 befindet, kann die Bewegungsrichtung nach rechts sein.
Es sei darauf hingewiesen, dass das Identifizieren des Dreidimensionales-Objekt-Bereiches 212 so lange hinausgezögert werden kann, bis die Breite des dreidimensionalen Objekts 210 gleich der vorbestimmten Detektionsbreite ist, damit die Breite des dreidimensionalen Objekts 210 groß genug zu werden kann, um, wie in der Ausführungsform beabsichtigt, ein Rad zu erkennen.
[Radbereich-Identifikationsprozess S202]
Die 6A, 6B, 7 und 8 beschreiben ein Beispiel des Radbereich-Identifikationsprozess S202. Der Radbereich-Identifizierer 162 identifiziert den Radbereich 214 aus dem Dreidimensionales-Objekt-Bereich 212, der durch den Dreidimensionales-Objekt-Bereich-Identifizierer 160 identifiziert wird. Die Identifikation kann basierend auf der Bewegungsrichtung des dreidimensionalen Objekts 210 ausgeführt werden. Der Radbereich 214 umfasst ein mutmaßliches Rad, das einem Rad eines Fahrrads zu entsprechen scheint. In einem spezifischen aber nicht einschränkenden Beispiel, wie in 6 A dargestellt, kann in einem Fall, in dem die Bewegungsrichtung des dreidimensionalen Objekts 210 nach links ist, der Radbereich-Identifizierer 162 als den Radbereich 214 einen rechteckigen Bereich mit jeder Seite einer vorbestimmten Länge identifizieren, mit Bezug auf ein linkes Ende 212a des dreidimensionalen Objektbereichs 212 und ein unteres Ende 212b des Dreidimensionales-Objekt-Bereichs 212. Wie in 6B dargestellt kann der Radbereich-Identifizierer 162 als den Radbereich 214, in einem Fall, in dem die Bewegungsrichtung des dreidimensionalen Objekts 210 nach rechts ist, einen rechteckigen Bereich identifizieren mit jeder Seite einer vorbestimmten Länge in Bezug auf ein rechtes Ende 212c des Dreidimensionales-Objekt-Bereichs 212 und das untere Ende 212b des Dreidimensionales-Objekt-Bereichs 212. Es sei darauf hingewiesen, dass die vorbestimmte Länge eine Länge sein kann, die erhalten wird durch Hinzufügen einer Spanne, beispielsweise 3 Zoll (etwa 7,6 cm), zu einer vermuteten Größe eines Rades eines Fahrrads, beispielsweise 27 Zoll oder ungefähr 69 cm. Die Spanne kann unter Berücksichtigung einer Detektionsstörung gesetzt werden. Es sei darauf hingewiesen, dass ein Index, der die Größe in dieser Spezifikation angibt, zum Beispiel 27 Zoll (68,54 cm), beispielsweise an die Stelle tritt von der Größe auf dem Bild bzw. der Bildfäche, zum Beispiel der Anzahl von Pixeln, mit einer tatsächlichen Größe, basierend auf dem relativen Abstand.
Danach kann der Radbereich-Identifizierer 162 unter Verwendung der Hough-Transformation einem Umriss des mutmaßlichen Rads identifizieren, das in der Radregion 214 enthalten ist. Der Radbereich-Identifizierer 162 kann die Radregion 214 erneut identifizieren, um zu ermöglichen, dass eine Breite und eine Höhe des Radbereichs 214 gleich zu einer Breite und einer Höhe der Umrisse des mutmaßlichen Rads ist. Die Hough-Transformation ist eine Technik, die das Ausführen eines Wahlvorgangs an Punkten umfasst, die die Möglichkeit besitzen in der Mitte eines Objekts vorhanden zu sein, von Merkmalspunkten einschließlich Rändern auf dem Luminanzbild 126, sowie das Detektieren eines Objekts, das viele Stimmen erhalten hat, nämlich eine bestimmte Anzahl an Stimmen oder mehr. Wie beschrieben, konzentriert sich in dieser Ausführungsform die Beschreibung auf eine Hough-Transformation, jedoch ist die Ausführungsform nicht auf die Hough-Transformation beschränkt. Verschiedene existierende Formerkennungstechniken, die anders als die Hough-Transformation sind, wie zum Beispiel der Vorlagenabgleich (template matching) und eine Methode der kleinsten Quadrate, können verwendet werden.
Beschrieben wird ein Verarbeitungsvorgang der Hough-Transformation. In dieser Ausführungsform sei angenommen, dass wie im Teil (a) der 7 dargestellt, drei Pixel 220c, 220d und 220e aus dem Luminanzbild 126 extrahiert werden. Jedes der drei Pixel 220c, 220d und 220e hat einen Rand. Ursprünglich sind die drei Pixel 220c, 220d und 220e jeweils ein Teil eines Rades, das eine Kreisform aufweist, jedoch wird das klare Erkennen der Kreisform, basierend auf dem Luminanzbild 126, normalerweise als schwierig angesehen.
Die Hough-Transformation ist eine Technik des Erkennens einer geometrischen Form, zum Beispiel eines Kreises oder einer Linie, aus einer Vielfalt von Punkten. Die Hough-Transformation basiert auf einer Theorie, dass eine Mitte eines Kreises, der jedes Pixel durchläuft und einen Radius n aufweist, auf einem Umfang eines Kreises vorhanden ist, der einen Radius n mit dem relevanten Pixel aufweist, wobei dieses als eine Mitte dient. Beispielsweise verläuft ein Kreis 222 in dem Teil (a) der 7 durch die drei Pixel 220 c, 220d und 220e. Eine Mitte des Kreises 222 ist auf den Umfängen der Kreise vorhanden, wobei die drei Pixel 220c, 220d und 220e als entsprechende Mitten der Kreise dienen. Jedoch ist es schwierig, den Radius n ausschließlich basierend auf der Information an den Rändern zu identifizieren. Daher wird eine Vielfalt an Radien n unterschiedlicher Größe erstellt. Der Wahlvorgang wird an Pixeln auf den Kreisen der Radien n der verschiedenen Größen ausgeführt, wobei die drei Pixel 220c, 220d und 220e als die Mittelpunkte der Kreise dienen. Wenn die Anzahl an Stimmen von irgendeinem der Pixel gleich oder größer als ein vorbestimmter Wert wird, werden die Radien n und die relevanten Pixel entsprechend als ein Radius und ein Mittelpunkt eines Kreises eines Rads beurteilt.
Beispielsweise, wie in den Teilen (b), (c) und (d) der 7 dargestellt, werden die Kreise der unterschiedlichen Radien n gebildet, wobei die drei Pixel 220c, 220d und 220e als Mittelpunkte dienen. Im Teil (b) der 7 werden die Kreise mit den Radien n von 10 Zoll (25,4 cm) (n gleich 10), d.h. mit Durchmessern von 20 Zoll (50,8 cm), geformt. In dem Teil (c) der 7, werden Kreise mit den Radien n von 12 Zoll (30,48 cm) (n = 12), d.h. mit Durchmessern von 24 Zoll (60,96 cm) gebildet. In dem Teil (b) der 7 werden Kreise mit den Radien n von 13,5 Zoll (34,29 cm) (n = 13,5), d.h. mit Durchmessern von 27 (68,58 cm) Zoll gebildet. Der Wahlvorgang wird ausgeführt an Pixeln, die in Schnittpunkten der Kreise enthalten sind. Mit anderen Worten, Einheitsindizes werden korreliert. Im Teil (b) der 7 ist die Anzahl der Stimmen zwei bei zwei Pixeln 224. Das heißt, die zwei Einheitsindices korrelieren. In dem Teil (c) der Fg. 7 ist die Anzahl der Stimmen zwei bei drei Pixeln 224, wobei die Anzahl der Stimmen drei ist bei einem Pixel 226. Ebenso ist in dem Teil (d) der Fg. 7 die Anzahl der Stimmen zwei bei sechs Pixeln 224.
In diesem Fall ist ausschließlich bei dem Pixel 226 die Anzahl der Stimmen, d.h. der vorbestimmte Wert, drei. Folglich ist das Pixel 226 als die Mitte des Kreises identifiziert, der durch die drei Pixel 220c, 220d und 220e verläuft. Der Radius n von 12 Zoll (30,48 cm) (n = 12) wird durch das Herleiten des Pixels 226 als der Radius des Kreises identifiziert, der durch die drei Pixel 220c, 220d und 220e verläuft. Auf diese Weise wird, wie in Teil (e) von 7 dargestellt, ein Kreis 228 identifiziert, der durch die drei Pixel 220c, 220d und 220e verläuft. In dieser Ausführungsform erfolgt die Beschreibung der Einfachheit halber beispielhaft anhand der drei Pixel 220c, 220d und 220e. Jedoch gibt es Fälle, bei denen ein Pixel, das nicht in dem Kreis 228 enthalten ist, als ein Merkmalspunkt dient, und Fälle, bei denen ein Pixel, das in einer unterschiedlichen Position von seiner ursprünglichen Position aufgrund von Pixelierung oder Diskretisierung auftaucht, als ein Merkmalspunkt dient. Um Einflüsse eines solchen Rausches zu vermeiden, wird der Wahlvorgang tatsächlich an verschiedenen Punkten durchgeführt, um eine stabile Detektion aufgrund des Gesetzes der großen Zahlen vorzunehmen.
In dieser Ausführungsform wird die Hough-Transformation nicht willkürlich auf dem Luminanzbild durchgeführt. Stattdessen wird der Radbereich 214 bei dem Radbereich-Identifikationsprozess S202 und dem Radbestimmungsprozess S204, wie vorstehend beschrieben, identifiziert. Folglich wird nur der dadurch identifizierte Radbereich 214 der Hough-Transformation unterworfen. Daher ist es möglich, die Anzahl der Durchführungen der Hough-Transformation zu reduzieren, was eine kürzere Bearbeitungszeit ermöglicht.
In dem Fall, bei dem die Bewegungsrichtung des dreidimensionalen Objekts 210 nach links ist, wie in 8 dargestellt, kann der Radbereich-Identifizierer 162 erneut als den Radbereich 214 einen rechteckigen Bereich neu identifizieren, der mit jeder Seite zwei Mal den Radius n identifiziert (zum Beispiel 24 Zoll (60,96 cm)), in Bezug auf ein linkes Ende 214a des ursprünglich identifizierten Radbereichs 214 und ein unteres Ende 214b des ursprünglich identifizierten Radbereichs 214. Der Radbereich-Identifizierer 162 kann einen Mittelpunkt des neu identifizierten Radbereichs 214 als einen Mittelpunkt 216 des in dem Radbereich 214 enthaltenen mutmaßlichen Rads setzen. Folglich wird die Breite und die Höhe des Radbereichs 214 gleich der Breite und der Höhe der Umrisse des mutmaßlichen Rads.
[Radbestimmungsprozess S204]
9 beschreibt ein Beispiel des Radbestimmungsprozess S204. Der Radbestimmer 164 kann eine Bestimmung der Radwahrscheinlichkeit eines dreidimensionalen Objektes machen, das in einem neu identifizierten Radbereich 214 enthalten ist. Mit anderen Worten, der Radbestimmer 164 kann bestimmen, ob das dreidimensionale Objekt, das in dem neu identifizierten Radbereich 214 enthalten ist, ein Rad ist oder nicht. Es erfolgt nunmehr eine Beschreibung von Eigenschaften eines Rades eines Fahrrads und Eigenschaften des mutmaßlichen Rads, das in dem Radbereich 214 enthalten ist, basierend auf den Eigenschaften eines Rades eines Fahrrads. Ein Rad eines Fahrrads umfasst eine Achse in der Mitte, einen Reifen und Speichen, die den Reifen mit der Achse verbinden. Dementsprechend umfasst das mutmaßliche, in dem Radbereich 214 enthaltene Rad eine mutmaßliche Achse in der Mitte, einen mutmaßlichen Reifen und mutmaßliche Speichen, die die mutmaßliche Achse mit dem mutmaßlichen Reifen verbinden. Die mutmaßliche Achse in dem Mittelpunkt und der mutmaßliche Reifen sind bezüglich ihrer Größe groß genug, um die Abstandsinformation der mutmaßlichen Achse und des mutmaßlichen Reifens zu erhalten. Währenddessen nehmen die mutmaßlichen Speichen zu wenig Platz auf dem Bild ein, um etwas mehr als einen Hintergrund zu erkennen, bezüglich dessen keine Abstandsinformation erhältlich ist, bei einer wahrscheinlichen Position der mutmaßlichen Speichen. Dies führt häufig zu einem Fehler beim Erhalten der signifikanten Abstandsinformation. Daraus folgt, dass das in dem Radbereich 214 enthaltene dreidimensionale Objekt höchstwahrscheinlich ein Rad ist in einem Fall, bei dem keine Abstandsinformation nahe der Mitte des in dem Radbereich 214 enthaltenen dreidimensionalen Objekts enthalten ist, d.h. bei einer wahrscheinlichen Position für die mutmaßlichen Speichen. Ebenso folgt daraus, dass das in dem Radbereich 214 enthaltene dreidimensionale Objekt höchstwahrscheinlich ein Rad ist in einem Fall, bei dem nichts außer der Abstandsinformation entsprechend dem Hintergrund nahe der Mitte des in dem Radbereich 214 enthaltene dreidimensionalen Objekts erhältlich ist, d.h. an der wahrscheinlichen Position der mutmaßlichen Speichen. Währenddessen wird die Abstandsinformation in einem Fall, bei dem das in dem Radbereich 214 enthaltene dreidimensionale Objekt zum Beispiel ein Verkehrsschild mit einer runden Form ist, nicht nur an der Peripherie eines vermutlichen Verkehrsschildes erhalten, sondern auch nahe einer Mitte eines vermutlichen Verkehrsschildes. Folglich ist es daher möglich zu bestimmen, dass das in dem Radbereich 214 enthaltene dreidimensionale Objekt kein Rad ist. Diese Ausführungsform beinhaltet somit das Herleiten des Verhältnisses von der eingenommenen Fläche des Segments des Radbereichs 214, zum Beispiel der mutmaßlichen Achse und des mutmaßlichen Reifens in diesem Beispiel, zu der Fläche des Radbereichs 214, um die Radwahrscheinlichkeit zu bestimmen. Der relative Abstand von dem Segment zu dem eigenen Fahrzeug 1 fällt in den vorbestimmten Bereich. Es sei darauf hingewiesen dass in diesem Beispiel das Segment sowohl die mutmaßliche Achse als auch der mutmaßliche Reifen ist. Das Segment kann jedoch die mutmaßliche Achse sein oder alternativ kann das Segment der mutmaßliche Reifen sein.
In einem spezifischen aber nicht einschränkenden Beispiel kann der Radbestimmer 164 das Segment aus dem Distanzbild 128 extrahieren. Der relative Abstand von dem Segment zu dem eigenen Fahrzeug 1 fällt innerhalb eines vorbestimmten Bereichs, zum Beispiel 10 m bis 20 m, beides einschließlich. Somit wird beispielsweise die mutmaßliche Speiche in dem Radbereich 214, so wie in Teil (a) von 9 dargestellt, ausgeschlossen. Wie in Teil (b) von 9 dargestellt, werden die mutmaßliche Achse 218a und der mutmaßliche Reifen 218b des mutmaßlichen Rads extrahiert. Es sei darauf hingewiesen, dass der Teil (b) der 9 eine schematische Darstellung zum Zwecke der Einfachheit der Beschreibung ist.
Danach kann der Radbestimmer 164 einen Radius Rc der mutmaßlichen Achse 218a des mutmaßlichen Rades, einen Innenradius Rin des mutmaßlichen Reifens 218b des mutmaßlichen Rades und einen Außenradius Rout des mutmaßlichen Reifens 218b des mutmaßlichen Rades herleiten. Die Herleitung kann basierend auf den Rändern der mutmaßlichen Achse 218a und des mutmaßlichen Reifens 218b erfolgen. In dieser Ausführungsform kann die Herleitung der Radien basierend auf einem Rand eines beliebigen Teils eines Umfangs erfolgen. In einer Alternative können Radien einer Vielfalt von Abschnitten längs des Umfangs erhalten werden und ein Durchschnitt der auf diese Art erhaltenen Radien kann als ein repräsentativer Radius gesetzt werden. Die Fläche der mutmaßlichen Achse 218a ist somit durch π(Rc)² gegeben, in wobei Rc den Radius der mutmaßlichen Achse 218a des mutmaßlichen Rads repräsentiert. Die Fläche des mutmaßlichen Reifens 218b ist durch π(Rout²-Rin²) gegeben, wobei Rin den Innenradius des mutmaßlichen Reifens 218b des mutmaßlichen Rades repräsentiert und Rout den Außenradius des mutmaßlichen Reifens 218b des mutmaßlichen Rades repräsentiert. Daraus folgt, dass die Fläche des extrahierten Segments durch π(Rc)²+π(Rout²-Rin²) erhalten wird. Die Fläche des Radbereichs 214 wird durch (2 × Rout)² erhalten.
Danach kann der Radbestimmer 164 die Fläche des extrahierten Segmentes durch die Fläche des Radbereichs 214 dividieren. Mit anderen Worten, der Radbestimmer 164 kann (π(Rc)² +π(Rout²-Rin²))/(2×Rout)² herleiten, um das Flächenverhältnis des extrahierten Segmentes zu erhalten. In einem Fall, bei dem das auf diese Art erhaltene Flächenverhältnis kleiner als der vorbestimmte Wert, zum Beispiel 0,5, ist, kann bestimmt werden, dass das dreidimensionale Objekt, das in dem Radbereich 214 enthalten ist, ein Rad ist. In dieser Ausführungsform ist der vorbestimmte Wert, d.h. die Schwelle beispielsweise 0,5, jedoch kann ein Wert auch entsprechend Tests und / oder Effizienz angenommen werden.
Es sei darauf hingewiesen, dass die vorstehende Beschreibung anhand eines Beispiel erfolgte, bei dem die Radwahrscheinlichkeit basierend auf dem Flächenverhältnis des Segments des Radbereichs 214 bestimmt wird, wobei der relative Abstand von dem Segment zu dem eigenen Fahrzeug 1 innerhalb eines vorbestimmten Bereichs fällt. Der Radbestimmer 164 kann jedoch auch andere verschiedenartige Bestimmungsarten verwenden, um die Radwahrscheinlichkeit präziser zu bestimmen. Um ein Beispiel zu geben, die Radwahrscheinlichkeit kann bestimmt werden basierend auf den folgenden Faktoren, wie zum Beispiel, aber nicht einschränkend auf, einer Größe des Segmentes des Radbereich 214, wobei der relative Abstand von dem Segment zu dem eigenen Fahrzeug 1 in einen vorbestimmten Bereich fällt, Größen von Segmenten, die der mutmaßlichen Achse 218a und dem mutmaßlichen Reifen 218b entsprechen, einem Größenverhältnis, einer Bewegungsgeschwindigkeit des Radbereichs 214 und der Einheitlichkeit der Bewegungsgeschwindigkeit.
[Abschlussbestätigungsprozess S206]
Der Radbestimmer 164 kann bestimmen, ob die Bestimmung der Radwahrscheinlichkeit für alle der Vielzahl der extrahierten Radbereiche 214 durchgeführt wurde oder nicht. In einem Fall, bei dem die Bestimmung der Radwahrscheinlichkeit für alle der Vielzahl der Radbereiche 214 durchgeführt wurde, kann sich der Ablauf weiter zu dem Fahrradbestimmungsprozess S208 bewegen. In diesem Fall, bei dem die Bestimmung der Radwahrscheinlichkeit nicht für alle der Vielzahl der Radbereiche 214 durchgeführt wurde, kann der Ablauf sich weiter zu dem Radbestimmungsprozess bewegen, abzielend auf den Radbereich 214, der der Bestimmung bezüglich der Radwahrscheinlichkeit nicht unterzogen wurde.
[Fahrradbestimmungsprozess S208]
Nachdem der Radbestimmer 164 bestimmt hat, dass das in dem Radbereich 214 enthaltene dreidimensionale Objekt ein Rad ist, oder mit hoher Wahrscheinlichkeit ein Rad ist, kann der Fahrradbestimmer 166 bestimmen, synthetisch, auch basierend auf anderen Teilinformationen, dass das dreidimensionale Objekt 210 ein Fahrrad ist, oder noch genauer, ein Fahrrad, das von einer Person gefahren wird. Das dreidimensionale Objekt 210 ist enthalten in dem Dreidimensionales-Objekt-Bereich 212, der den Radbereich 214 in einem unteren Teil in der Bewegungsrichtung enthält.
Nachdem das dreidimensionale Objekt 210 auf diese Weise als ein Fahrrad identifiziert wurde, kann die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 die Kollisionsvermeidungssteuerung ausführen, um eine Kollision mit dem dreidimensionalen Objekt 210 zu vermeiden
In dieser Ausführungsform wird die Bestimmung bezüglich der Radwahrscheinlichkeit basierend auf dem Flächenverhältnis des Segments des Radbereichs 214 durchgeführt. Der relative Abstand von dem Segment zu dem eigenen Fahrzeug fällt in den vorbestimmten Bereich. Daher ist es möglich das spezifische Objekt, wie zum Beispiel ein Fahrrad, mit hoher Genauigkeit zu erkennen. Des Weiteren werden in dieser Ausführungsform die Breite und die Höhe des Radbereichs 214 durch den Radbereich-Identifikationsprozess S202 gleich der Breite und der Höhe der Umrisse des mutmaßlichen Rads. Dies macht es möglich, das Flächenverhältnis mit hoher Genauigkeit in dem Radbestimmungsprozess S204 herzuleiten.
Die Ausführungsform stellt auch ein Programm zur Verfügung, das bewirkt, dass ein Computer als eine Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 funktioniert, sowie ein nicht-transitorisches Aufzeichnungsmedium, das das Programm speichert. Das nicht-transitorische Aufzeichnungsmedium ist computerlesbar. Nicht einschränkende Beispiele des nicht-transitorisches Aufzeichnungsmedium können eine flexible Diskette, eine magnetooptische Diskette, ROM, CD, DVD (eingetragene Handelsmarke) und BD (eingetragene Handelsmarke) umfassen. Wie hier verwendet, kann der Begriff „Programm“ sich auf einen Datenprozessor beziehen, der in jeder Sprache und jedem Schreibverfahren geschrieben ist.
Obwohl vorstehend einige bevorzugte Ausführungsformen der Erfindung beispielhaft unter Bezug auf die beigefügten Zeichnungen beziehen beschrieben wurden, ist die Erfindung in keiner Weise auf die oben beschriebenen Ausführungsformen eingeschränkt. Es versteht sich, dass Modifizierungen und Änderungen durch Fachleute auf diesem Gebiet ausgeführt werden können, ohne den Schutzumfang, wie in den angefügten Ansprüchen definiert, zu verlassen. Die Erfindung soll solche Modifikationen und Änderungen umfassen, soweit sie in den Schutzumfang der beigefügten Ansprüche oder deren Äquivalenz fallen.
Zum Beispiel erfolgt in einer zuvor beschriebenen Ausführungsformen die Beschreibung anhand eines Beispiels, bei dem der Radbereich 214 ein Quadrat, d.h. Quadrat von 27 Zoll (68,58 cm) mal 27 Zoll (68,58 cm) ist. Die Einstellung des Radbereiches 214 kann jedoch in beliebigen Größe, beliebigen Anzahl und/oder beliebigen Form erfolgen.
In einer vorstehend beschriebenen Ausführungsform erfolgt die Beschreibung anhand eines Beispiels, bei dem der Wert (π(Rc)²+π(Rout²-Rin²))/(2×Rout)² , d.h. der Wert, der durch das Dividieren der Fläche des extrahierten Segments durch die Fläche des Radbereichs 214 erhalten wird, hergeleitet wird. In diesem Beispiel wird dann, wenn das Flächenverhältnis des extrahierten Segments kleiner ist als der vorbestimmte Wert, zum Beispiel 0,5, die Bestimmung so durchgeführt, dass das dreidimensionale Objekt, das in dem Radbereich 214 enthalten ist, ein Rad ist. Jedoch ist dies nicht einschränkend. Es ist ausreichend, basierend auf der Abstandsinformation das Flächenverhältnis des Segments herzuleiten, wobei der relative Abstand von dem Segment zu dem eigenen Fahrzeug 1 in einen vorbestimmten Bereich fällt. Beispielsweise kann die Anzahl der Blöcke oder Pixel des extrahierten Segments gezählt werden und der gezählte Wert durch die Fläche des Radbereichs 214 geteilt werden, um das Flächenverhältnis herzuleiten.
In einer vorstehend beschriebenen Ausführungsform erfolgt die Beschreibung anhand eines Beispiels der Identifizierung des Fahrrads als das spezifische Objekt durch die Bestimmung der Radwahrscheinlichkeit. Jedoch kann die Bestimmung, angewendet werden bei einem Fahrzeug, das ein oder mehrere Reifen umfasst, wie zum Beispiel einem Motorrad oder einem Automobil.
Ein oder alle Teile der Prozesse in dem hier offenbarten Fahrzeugaußenumgebung-Erkennungsprozess müssen nicht notwendigerweise auf der Basis einer zeitlichen Abfolge in der beschriebenen Reihenfolge des beispielhaften Flussdiagramm durchgeführt werde. Ein oder alle Teile des Prozesses in dem Fahrzeugaußenumgebung-Erkennungsprozess können paralleles Verarbeiten oder Verarbeiten basierend auf Unterprogrammen enthalten.
Die in 3 dargestellte zentrale Steuereinrichtung ist durch Schaltungen implementierbar, die mindestens eine integrierte Halbleiterschaltung, wie zum Beispiel mindestens einen Prozessor (z. B. eine zentrale Verarbeitungseinheit (CPU)), mindestens eine anwendungsspezifische integrierte Schaltung (ASIC) und / oder mindestens ein feldprogrammierbares Gatter Array (FPGA), umfassen. Mindestens ein Prozessor ist konfigurierbar, durch Lesen von Anweisungen von mindestens einem maschinenlesbaren, nicht transienten greifbaren Medium, um alle oder einen Teil der Funktionen der zentralen Steuereinrichtung 154 ausführen zu können. Ein derartiges Medium kann mehrere Formen einnehmen, wie, aber nicht beschränkt auf, jede Art von magnetischen Medien, wie zum Beispiel eine Festplatte, jede Art von optischen Medien, wie zum Beispiel eine Compact Disc (CD) und eine Digital Video Disc (DVD), und jede Art von Halbleiterspeicher (d.h. Halbleiterschalter), wie zum Beispiel ein flüchtiger Speicher und nichtflüchtiger Speicher. Der flüchtige Speicher kann einen dynamischen Speicher mit wahlfreiem Zugriff (DRAM) und einen statischen Direktzugriffsspeicher (SRAM) enthalten und der nichtflüchtiger Speicher kann eine ROM und eine nichtflüchtige RAM (NVRAM) umfassen. Das ASIC ist ein integrierter Schaltkreis (IC) der angepasst wurde, um alle oder einen Teil der Funktionen der in 3 dargestellten zentralen Steuereinrichtung 154 auszuführen. Das FPGA ist ein integrierter Schaltkreis, der so konfiguriert ist, dass er nach der Herstellung konfiguriert werden kann, um alle oder einen Teil der Funktionen der in 3 dargestellten zentralen Steuereinrichtung 154 auszuführen.
Obwohl einige Ausführungsformen der Erfindung in dem Vorstehenden durch Beispiele unter Bezug auf die beigefügten Zeichnungen beschrieben wurden, ist die Erfindung in keiner Weise auf die zuvor beschriebenen Ausführungsformen beschränkt. Die Verwendung der Begriffe erster, zweiter, etc. zeigt keine Reihenfolge oder Rangfolge an, sondern die Begriffe erster, zweite etc. werden verwendet, um ein Element von einem anderen zu unterscheiden. Es versteht sich, dass Modifikationen und Änderungen von Fachleuten vorgenommen werden können, ohne von dem durch die beigefügten Ansprüche definierten Schutzumfang abzuweichen. Die Erfindung soll derartige Modifikationen und Abänderungen umfassen, soweit sie in den Umfang der beigefügten Ansprüche oder deren Äquivalente fallen.
Eine Fahrzeugaußenumgebung-Erkennungsvorrichtung umfasst einen Dreidimensionales-Objekt-Bereich-Identifizierer, einen Radbereich-Identifizierer und einen Radbestimmer. Der Dreidimensionales-Objekt-Bereich-Identifizierer ist dahingehend konfiguriert, einen dreidimensionalen Objektbereich aus einem Bild zu identifizieren. Der Dreidimensionales-Objekt-Bereich beinhaltet ein dreidimensionales Objekt. Der Radbereich-Identifizierer ist dahingehend konfiguriert, einen Radbereich aus dem Dreidimensionales-Objekt-Bereich zu identifizieren. Der Radbereich umfasst ein mutmaßliches Rad, das einem Rad eines Fahrrads zu entsprechen scheint. Der Radbestimmer ist dahingehend konfiguriert, zu bestimmen, ob ein Flächenverhältnis kleiner als ein vorbestimmter Wert ist oder nicht. Das Flächenverhältnis ist ein Verhältnis von einer Fläche eines Segments des Radbereichs zu der Fläche des Radbereichs, wobei ein relativer Abstand von dem Segment zu einem eigenen Fahrzeug in einen vorbestimmten Bereich fällt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2017097773 [0001]
JP 3349060 [0003]
JP 2008134877 [0004]

Claims

Fahrzeugaußenumgebung-Erkennungsvorrichtung, welche aufweist: einen Dreidimensionales-Objekt-Bereich-Identifizierer, der dahingehend konfiguriert ist, einen Dreidimensionales-Objekt-Bereich aus einem Bild zu identifizieren, wobei der Dreidimensionales-Objekt-Bereich ein dreidimensionales Objekt beinhaltet; einen Radbereich-Identifizierer, der dahingehend konfiguriert ist, einen Radbereich aus dem Dreidimensionales-Objekt-Bereich zu identifizieren, wobei der Radbereich ein mutmaßliches Rad, das einem Rad eines Fahrrads zu entsprechen scheint, beinhaltet; und einen Radbestimmer, der dahingehend konfiguriert ist, zu bestimmen, ob ein Flächenverhältnis kleiner als ein vorbestimmter Wert ist oder nicht, wobei das Flächenverhältnis ein Verhältnis von einer Fläche eines Segments des Radbereichs zu der Fläche des Radbereichs ist, wobei ein relativer Abstand von dem Segment zu einem eigenen Fahrzeug in einen vorbestimmten Bereich fällt.
Fahrzeugaußenumgebung-Erkennungsvorrichtung nach Anspruch 1, wobei der Radbestimmer, als das Segment, eine mutmaßliche Achse und einen mutmaßlichen Reifen des mutmaßlichen Rads extrahiert und das Flächenverhältnis des extrahierten Segments erhält.
Fahrzeugaußenumgebung-Erkennungsvorrichtung nach Anspruch 2, wobei der Radbestimmer einen Radius Rc der vermuteten Achse des vermuteten Rads, einen Innenradius Rin des vermuteten Reifens des vermuteten Rads und einen Außenradius Rout des vermuteten Reifens des vermuteten Rads herleitet und das Flächenverhältnis durch (π(Rc)²+π(Rout²-Rin²))/(2×Rout)² bereitstellt.
Fahrzeugaußenumgebung-Erkennungsvorrichtung nach Anspruch 3, wobei der Radbereich-Identifizierer, durch Hough-Transformation, eine Mitte des mutmaßlichen Rads herleitet, das in dem Radbereich enthalten ist, und den Radbereich, basierend auf der Mitte des mutmaßlichen Rads, neu identifiziert.