DE112022001520T5

DE112022001520T5 - Aussenerkennungssystem

Info

Publication number: DE112022001520T5
Application number: DE112022001520.9T
Authority: DE
Inventors: Takeshi Nagasaki; Takeshi Shima; Haruki Matono; Koichi Terui; Yoshitaka Atarashi; Hiroaki Hoshika
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2021-06-18
Filing date: 2022-02-09
Publication date: 2024-01-11
Also published as: WO2022264492A1; CN117396933A; JPWO2022264492A1

Abstract

Eine Aufgabe der vorliegenden Erfindung ist, ein Außenerkennungssystem zu erhalten, das eine Straßenoberflächenunebenheit vor einem Fahrzeug hochgenau detektieren kann. Das Außenerkennungssystem der vorliegenden Erfindung erkennt eine dreidimensionale Form einer Straßenoberfläche, auf der ein eigenes Fahrzeug C2 fährt, wobei das eigene Fahrzeug C2 eine Bildverarbeitungseinheit, die eine Bildverarbeitung, um eine Oberflächenstruktur auf der Straße aus einem aufgenommenen Bild, das durch eine Fahrzeugbordkamera aufgenommen wird, zu detektieren, durchführt; eine Fahrzeugkommunikationseinheit, die Positionsinformationen über eine Oberflächenstruktur ST auf der Straße von einem externen Server NS empfängt; und eine Bildverarbeitungsverfahren-Bestimmungseinheit, die ein Bildverarbeitungsverfahren der Bildverarbeitungseinheit auf der Grundlage der Positionsinformationen über die Oberflächenstruktur ST auf der Straße, die durch die Fahrzeugkommunikationseinheit empfangen werden, ändert, enthält.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf ein Außenerkennungssystem, das Unebenheiten einer Straßenoberfläche, auf der ein Fahrzeug fährt, erkennt.
Hintergrundgebiet
Herkömmlicherweise gibt es eine Außenerkennungstechnologie, bei der eine Fahrzeugbordkamera verwendet wird, um Bilder vom Bereich vor einem Fahrzeug aufzunehmen und Strukturen auf der Straßenoberfläche wie etwa Bremsschwellen zu erkennen. Ferner ist ein System vorgeschlagen worden (PTL 1), das Außenerkennungsinformationen, die durch ein weiteres fahrendes Fahrzeug erfasst werden, verwendet, um die Fahrt eines eigenen Fahrzeugs zu steuern.
Entgegenhaltungsliste
Patentl iteratu r
PTL 1: JP 2010-287044 A
Zusammenfassung der Erfindung
Technisches Problem
Wenn eine Detektion durch einen Außenerkennungssensor wie etwa eine Fahrzeugbordkamera durchgeführt wird, wird eine Unebenheit einer Straßenoberfläche wie etwa Oberflächenstrukturen auf der Straße aufgrund von Umweltbedingungen wie etwa Nachtzeit, Gegenlicht und regnerischen Bedingungen möglicherweise nicht genau erkannt. Außerdem sind dann, wenn Außenerkennungsinformationeri, die durch ein weiteres Fahrzeug erfasst werden, verwendet werden, um die Fahrt des eigenen Fahrzeugs zu steuern, genaue Positionsinformationen über Oberflächenstrukturen auf der Straße erforderlich; jedoch werden Positionsdetektionsmittel wie etwa ein GPS leicht durch die Umgebung beeinflusst und somit ist die Detektionsgenauigkeit instabil und die Detektionsgenauigkeit ist außerdem begrenzt.
Die vorliegende Erfindung wurde im Hinblick auf die obigen Punkte erdacht und eine Aufgabe der vorliegenden Erfindung ist, ein Außenerkennungssystem zu schaffen, das eine Straßenoberflächenunebenheit vor einem Fahrzeug hochgenau detektieren kann.
Lösung des Problems
Ein Außenerkennungssystem der vorliegenden Erfindung, das das obige Problem löst, ist ein Außenerkennungssystem, das eine dreidimensionale Form einer Straßenoberfläche, auf der ein eigenes Fahrzeug fährt, erkennt, wobei das eigene Fahrzeug Folgendes enthält:

eine Bildverarbeitungseinheit, die eine Bildverarbeitung, um eine Oberflächenstruktur auf der Straße aus einem aufgenommenen Bild, das durch eine Fahrzeugbordkamera aufgenommen wird, zu detektieren, durchführt;
eine Fahrzeugkommunikationseinheit, die Positionsinformationen über die Oberflächenstruktur auf der Straße von einem externen Server empfängt; und
eine Bildverarbeitungsverfahren-Bestimmungseinheit, die auf der Grundlage der Positionsinformationen über die Oberflächenstruktur auf der Straße, die durch die Fahrzeugkommunikationseinheit empfangen werden, ein Bildverarbeitungsverfahren der Bildverarbeitungseinheit ändert.

Vorteilhafte Wirkungen der Erfindung
Gemäß der vorliegenden Erfindung kann die Straßenoberflächenunebenheit vor dem Fahrzeug hochgenau detektiert werden. Weitere Merkmale bezüglich der vorliegenden Erfindung werden aus dem Beschreibungsabschnitt der vorliegenden Beschreibung und den begleitenden Zeichnungen ersichtlich. Außerdem werden andere Probleme, Konfigurationen, vorteilhafte Wirkungen und dergleichen als diejenigen, die oben beschrieben sind, durch die Beschreibung der Ausführungsformen unten verdeutlicht.
Kurzbeschreibung der Zeichnungen

1 ist ein Diagramm, das einen Gesamtumriss eines Außenerkennungssystems gemäß einer ersten Ausführungsform zeigt.
2 ist ein Diagramm, das ein Beispiel für ein Szenario, in dem eine Oberflächenstruktur auf der Straße detektiert wird, zeigt.
3 ist ein Funktionsblockdiagramm des Außenerkennungssystems.
4 ist ein Ablaufplan, der den Inhalt einer Informationsverarbeitung in einem Informationen bereitstellenden Fahrzeug und einem Server veranschaulicht.
5 ist ein Ablaufplan, der ein Beispiel für eine Verarbeitung, die durch eine Stereokamera eines Informationen bereitstellenden Fahrzeugs C1 durchgeführt wird, veranschaulicht.
6 ist ein Ablaufplan, der den Inhalt einer Informationsverarbeitung in einem Server und im Informationen verwendenden Fahrzeug veranschaulicht.
7 ist ein Ablaufplan, der eine Verarbeitung durch eine Stereokamera eines Informationen verwendenden Fahrzeugs C2 veranschaulicht.
8 ist ein Diagramm, das ein Beispiel zeigt, bei dem in einem Parallaxenbild Bildverarbeitungsbereiche eingestellt sind.
9 ist ein Diagramm, das ein Bildverarbeitungsverfahren unter Verwendung von Positionsinformationen veranschaulicht.
10 ist ein Diagramm, das ein Verfahren zum Bestimmen einer Parallaxe einer Straßenoberflächenunebenheit durch Suchen in einer horizontalen Richtung veranschaulicht.
11 ist ein Diagramm, das Ergebnisse einer Spitzendetektion einer Straßenoberflächenunebenheit zeigt.
12 ist ein Diagramm, das ein Verfahren zum Analysieren der Stabilität einer Spitzenbewegung im Zeitablauf veranschaulicht.
13 ist ein Ablaufplan, der einen Verarbeitungsinhalt eines Außenerkennungssystems gemäß einer zweiten Ausführungsform veranschaulicht.
14 ist ein Diagramm, das ein Beispiel für eine Situation, in der die in 13 veranschaulichte Verarbeitung durchgeführt wird, veranschaulicht.
15 ist ein Ablaufplan, der einen Verarbeitungsinhalt eines Außenerkennungssystems gemäß einer dritten Ausführungsform veranschaulicht.

Beschreibung der Ausführungsformen
Im Folgenden werden Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen beschrieben.
Zuerst wird ein Umriss eines Außenerkennungssystems gemäß der vorliegenden Ausführungsform beschrieben. 1 ist ein Diagramm, das einen Gesamtumriss des Außenerkennungssystems zeigt. Das Außenerkennungssystem gemäß der vorliegenden Ausführungsform ist ein System, das Informationen über Straßenoberflächenbedingungen, die durch mindestens ein oder mehrere Informationen bereitstellende Fahrzeuge C1 detektiert werden, in einem Server NS sammelt, der ein externen Server ist, Informationen über Straßenoberflächenbedingungen in der Umgebung eines Informationen verwendenden Fahrzeugs C2 vom Server NS an das Informationen verwendende Fahrzeug verteilt und bewirkt, dass das Informationen verwendende Fahrzeug C2 die Straßenoberflächenbedingungen unter Verwendung der Informationen über die Straßenoberflächenbedingungen, die vom Server NS verteilt werden, genauer detektiert und auf der Grundlage der Detektionsergebnisse eine Fahrzeugsteuerung durchführt.
Das Außenerkennungssystem verwendet eine Cloud-artige Kartenplattform 101, die auf einer Karte Erfahrungsinformationen, die für das Selbstfahren des Fahrzeugs notwendig sind, sammelt, managt und analysiert. Die Kartenplattform 101 wird als Verkehrserfahrungsinformationen auf der Karte bezeichnet und managt unter Verwendung von zwei wechselseitig zugeordneten hierarchischen Zuständen Karteninformationen, die Informationen wie etwa Straßen, Fahrspuren und Fahrstrecken, die als eine straßenbezogene Karte bezeichnet sind, und Anlagen und Vorrichtungen wie etwa Zeichen und Verkehrslichtzeichen, die auf Straßen installiert sind, enthalten, und fahrerfahrungsbezogene Informationen in der Vergangenheit wie etwa eine Fahrhistorie, die Fahrerfahrungsinformationen enthält. Die straßenbezogene Karte enthält hochgenaue Karteninformationen, die zum Selbstfahren des Fahrzeugs verwendet werden. Die Fahrerfahrungsinformationen enthalten z. B. Informationen auf der Grundlage einer tatsächlichen Fahrerfahrung wie etwa eine Auftretenshäufigkeit und einen Zeitraum von Verkehrsstauungen auf einer vorgegebenen Straße und eine durchschnittliche Fahrgeschwindigkeit.
Fahrzeuginformationen wie etwa eine Fahrspurauswahl und eine angemessene Geschwindigkeit werden von mehreren Informationen bereitstellenden Fahrzeugen C1 (C1a bis C1n) in die Kartenplattform 101 eingegeben und Signale und Verkehrsinformationen über Verkehrsstockungen und dergleichen werden von einer Infrastrukturanlage 111 eingegeben. Die Kartenplattform 101 analysiert Massendaten, die Fahrzeuginformationen und Verkehrsinformationen enthalten, unter Verwendung eines Servers NS, der mit einem Informationskommunikationsnetz und einer Serverdatenbank DBs, die diverse Informationen lesbar speichert, verbunden ist, erzeugt Fahrerfahrungsinformationen und führt eine Abbildung auf der straßenbezogenen Karte durch.
Jedes der mehreren Informationen bereitstellenden Fahrzeuge C1 und der Informationen verwendenden Fahrzeuge C2 erfasst Eigenpositionsinformationen in einem Weltkoordinatensystem (einem Koordinatensystem mit Breitengrad und Längengrad) unter Verwendung einer. Eigenpositionierungs-Messvorrichtung wie etwa eines GNSS (globalen Navigationssatellitensystems). Das Informationen bereitstellende Fahrzeug C1 führt eine Außenerkennung unter Verwendung einer Vorrichtung zur dreidimensionalen Messung durch, die eine Außenerkennungsvorrichtung ist, die auf dem eigenen Fahrzeug angebracht ist, und überträgt Informationen über Straßenoberflächenbedingungen, die durch die Außenerkennung erfasst werden, an den Server NS.
Das Informationen verwendende Fahrzeug C2 empfängt die Verteilung der Verkehrserfahrungsinformationen auf der Karte vom Server NS der Kartenplattform 101 auf der Grundlage der Eigenpositionierungsinformationen, wodurch ein genaueres Selbstfahren durchgeführt wird. Das Informationen verwendende Fahrzeug C2 enthält eine Vorrichtung 124 zur dreidimensionalen Messung, eine AD_ECU 122, die unter Verwendung von dreidimensionalen Außeninformationen, die durch die Vorrichtung 124 zur dreidimensionalen Messung erfasst werden, und Informationen, die vom Server NS der Kartenplattform 101 erfasst werden, eine Fahrzeugsteuerung wie etwa eine Selbstfahrsteuerung durchführt, eine MPU 123, die diverse Arten von Arithmetikverarbeitung durchführt, und eine Lenkvorrichtung 125, eine Bremsvorrichtung 126 und eine Antriebsvorrichtung 127, die durch Steuersignale von der AD_ECU 122 gesteuert werden.
2 ist ein Diagramm, das ein Beispiel für ein Szenario zeigt, in dem eine Oberflächenstruktur auf der Straße unter Verwendung des Außenerkennungssystems gemäß der vorliegenden Ausführungsform detektiert wird.
Im Außenerkennungssystem werden eine Informationssammelverarbeitung und eine Informationsverteilungsverarbeiturig durchgeführt. Bei der Informationssammelverarbeitung werden dann, wenn eine Oberflächenstruktur auf der Straße detektiert wird, während das Informationen bereitstellende Fahrzeug C1 fährt, Positionsinformationen über eine Oberflächenstruktur ST auf der Straße an den Server NS übertragen und Informationen werden auf dem Server NS gesammelt. 2(a) ist ein Diagramm, das ein Beispiel für eine Informationssammlung veranschaulicht, und zeigt ein Szenario, bei dem die Oberflächenstruktur ST auf der Straße während des Fahrens bei Tag detektiert wird. Wenn die Vorrichtung zur dreidimensionalen Messung des Informationen bereitstellenden Fahrzeugs C1 z. B. eine Stereokamera ist, kann die Oberflächenstruktur ST auf der Straße beim Fahren in einem hellen Zeitraum tagsüber einfach und genau detektiert werden.
Im Informationen bereitstellenden Fahrzeug C1 wird eine Straßenoberflächenunebenheit, die eine dreidimensionale Form der Straßenoberfläche ist, durch die Stereokamera berechnet und die Detektion der Oberflächenstruktur ST auf der Straße und die Schätzung der relativen Position in Bezug auf das Informationen bereitstellende Fahrzeug C1 und der Höhe (der Form) der Oberflächenstruktur ST auf der Straße werden durchgeführt. Ferner werden die Eigenpositionierungsinformationen über das Informationen bereitstellende Fahrzeug C1, die durch eine Eigenpositionierungs-Messvorrichtung 315 gemessen werden, und die Positionsinformationen über die Oberflächenstruktur ST auf der Straße durch die Kommunikationsvorrichtung an den Server NS übertragen und als Fahrerfahrungsinformationen in der Serverdatenbank DBs gespeichert. Die Positionsinformationen über die Oberflächenstruktur ST auf der Straße werden für jede Oberflächenstruktur ST auf der Straße getrennt gespeichert.
Positionsinformationen über Oberflächenstrukturen ST auf der Straße werden von den mehreren Informationen bereitstellenden Fahrzeugen C1 an den Server NS übertragen. Der Server NS sammelt die Positionsinformationen über die Oberflächenstrukturen ST auf der Straße, die von den mehreren Informationen bereitstellenden Fahrzeugen C1 empfangen werden, und berechnet die Positionsinformationen für jede Oberflächenstruktur ST auf der Straße neu. Bei dieser erneuten Berechnung wird eine Verarbeitung, um durch statistische Verarbeitung Fehler in den Positionsinformationen zu verringern und die Genauigkeit der Positionsinformationen zu verbessern, durchgeführt.
Bei der Informationsverteilungsverarbeitung werden die Eigenpositionierungsinformationen vom Informationen verwendenden Fahrzeug C2 an den Server NS übertragen und somit werden die Informationen über die Straßenoberflächenbedingungen in der Umgebung des Informationen verwendenden Fahrzeugs C2 vom Server NS an das Informationen verwendende Fahrzeug C2 verteilt. 2(b) ist ein Diagramm, das ein Beispiel für eine Informationsverteilung zeigt, und zeigt ein Szenario, bei dem eine Oberflächenstruktur auf der Straße detektiert wird, während bei Nacht gefahren wird. Es ist wahrscheinlich, dass die Erfolgsrate und die Detektionsgenauigkeit, mit denen die Oberflächenstrukturen ST auf der Straße, die Detektionsziele sind, durch die Stereokamera des Informationen verwendenden Fahrzeugs C2 detektiert werden, während des Fahrens in einem dunklen Zeitraum bei Nacht verringert sind.
im Gegensatz dazu bestimmt das Informationen verwendende Fahrzeug C2 gemäß der vorliegenden Ausführungsform aufgrund des Empfangens einer Verteilung der Positionsinformationen über die Oberflächenstrukturen auf der Straße, die in der Umgebung der Eigenposition vorhanden sind, vom Server NS das Bildverarbeitungsverfahren der Bildverarbeitungseinheit zum Detektieren der Oberflächenstrukturen auf der Straße auf der Grundlage der Positionsinformationen unter Verwendung der Stereokamera und detektiert die Oberflächenstrukturen ST auf der Straße mittels des bestimmten Bildverarbeitungsverfahrens. Zum Beispiel wird dann, wenn genauere Positionsinformationen über die Oberflächenstrukturen ST auf der Straße vom Server NS erhalten werden, ein Detektionsalgorithmus derart geändert, dass ein Bereich, in dem eine Bildverarbeitung durch die Stereokamera durchgeführt wird, eingegrenzt wird, um eine hochgenaue Bilderkennung durchzuführen, oder ein Detektionsparameter wird derart geändert, dass ein Schwellenwert erhöht wird, indem ein Bereich, in dem eine Spitzenhöhenposition der Straßenoberflächenunebenheit detektiert wird, eingegrenzt wird. Außerdem führt das Informationen verwendende Fahrzeug C2 dann, wenn die Stereokamera aufgrund des Wetters, der externen Lichtbedingungen oder dergleichen eine Oberflächenstruktur ST auf der Straße nicht detektieren kann oder wenn die Detektionsgenauigkeit niedrig ist, eine Fahrzeugsteuerung wie etwa eine Warnung an den Insassen oder eine Steuerung des Federdrucks, Verlangsamung oder Lenkung unter Verwendung der Positionsinformationen über die Oberflächenstruktur ST auf der Straße, die vom Server NS verteilt werden, ohne Verwendung der Erkennungsergebnisse aus der Bilderkennung durch.
3 ist ein Funktionsblockdiagramm des Informationen bereitstellenden Fahrzeugs C1, des Informationen verwendenden Fahrzeugs C2 und des Servers NS, die das Außenerkennungssystem gemäß der vorliegenden Ausführungsform bilden.
Das Informationen bereitstellende Fahrzeug C1 enthält eine Stereokamera 312, die ein Beispiel für eine Vorrichtung zur dreidimensionalen Messung ist, die eine dreidimensionale Form einer Fahrstraßenoberfläche misst, um eine Oberflächenstruktur auf der Straße zu detektieren, einen G-Sensor 313, der eine Fahrzeugschwingung detektiert, die aufgrund dessen, dass es über eine Oberflächenstruktur ST auf der Straße fährt, auf das Informationen bereitstellende Fahrzeug C1 aufgebracht wird, die Eigenpositionierungs-Messvorrichtung (ein Positionsinformationen-Erfassungsmittel) 315, die eine Eigenkoordinatenposition in einem Weltkoordinatensystem misst, wie etwa eine GPS-Navigationsvorrichtung, und eine Straße-zu-Fahrzeug-Kommunikationsvorrichtung 317, die Informationen an einen Server NS überträgt und von diesem empfängt.
Das Informationen verwendende Fahrzeug C2 enthält eine Stereokamera 322, eine Eigenpositionierungs-Messvorrichtung (eine Eigenpositionierungs-Messeinheit) 325, eine Straße-zu-Fahrzeug-Kommunikationsvorrichtung 324 und einen G-Sensor 323 und enthält ferner eine Fahrzeugsteuervorrichtung 326, die auf der Grundlage von Detektionsergebnissen der Stereokamera 322 eine automatische Bremsensteuerung und eine automatische Abstandssteuerung ACC durchführt, eine Mensch-Maschine-Schnittstelle 327, die eine Warnung an einen Insassen des Fahrzeugs ausgibt, eine Fahrzeugrouten-Erzeugungsvorrichtung 328, die eine Route zu einem Ziel erzeugt, und eine Fahrzeugdatenbank DBc, die Informationen wie etwa eine Koordinatenposition des Informationen verwendenden Fahrzeugs C2 und eine Position und eine Größe einer Oberflächenstruktur ST auf der Straße speichert. Die Stereokamera 322 einhält ein Paar einer linken und einer rechten Fahrzeugbordkamera, die Bilder vom Bereich vor dem Fahrzeug aufnehmen, und eine Kamerasteuereinheit, die eine Steuerung wie etwa eine Bildverarbeitung der Fahrzeugbordkameras und der aufgenommenen Bilder durchführt. Die Kamerasteuereinheit weist Hardware wie etwa eine CPU und einen Datenspeicher und ein Softwareprogramm, das durch die Hardware ausgeführt wird, auf und realisiert Steuerfunktionen der unten beschriebenen Einheiten durch Zusammenwirken zwischen der Hardware und der Software. Die Kamerasteuereinheit der Stereokamera 322 enthält eine Bildverarbeitungseinheit, die eine Bildverarbeitung, um eine Oberflächenstruktur auf der Straße aus den aufgenommenen Bildern, die durch die Fahrzeugbordkameras aufgenommen werden, zu detektieren, durchführt, und eine Bildverarbeitungsverfahren-Bestimmungseinheit, die das Bildverarbeitungsverfahren der Bildverarbeitungseinheit auf der Grundlage der Positionsinformationen über die Oberflächenstruktur ST auf der Straße, die vom Server NS empfangen werden, ändert.
Der Server NS enthält eine Kommunikationsvorrichtung 302, die Informationen an die Straße-zu-Fahrzeug-Kommunikationsvorrichtung 317 des Informationen bereitstellenden Fahrzeugs C1 und die Straße-zu-Fahrzeug-Kommunikationsvorrichtung 324 des Informationen verwendenden Fahrzeugs C2 überträgt und von diesen empfängt, eine Serverdatenbank DBs, die Positionsinformationen über die Oberflächenstrukturen ST auf der Straße, die von den mehreren Informationen bereitstellenden Fahrzeugen C1 bereitgestellt werden, sammelt und lesbar speichert, und eine Datenanalysevorrichtung 303, die eine statistische Analyse von Massendaten durchführt, die Fahrzeuginformationen und Verkehrsinformationen enthalten, die in der Serverdatenbank DBs gespeichert sind, Fahrerfahrungsinformationen erzeugt und eine Abbildung auf der straßenbezogenen Karte durchführt.
4 ist ein Ablaufplan, der den Inhalt einer Informationsverarbeitung in einem Informationen bereitstellenden Fahrzeug und einem Server veranschaulicht, und zeigt den Inhalt einer Verarbeitung, bei der Informationen vom Informationen bereitstellenden Fahrzeug C1 an den Server NS bereitgestellt werden.
Im Informationen bereitstellenden Fahrzeug C1 bildet die Bildgebungseinheit der Stereokamera 312 den Bereich vor dem Fahrzeug ab, um ein aufgenommenes Bild zu erfassen (S401), die Bildverarbeitungseinheit der Stereokamera 312 führt eine Bildverarbeitung auf dem aufgenommenen Bild durch, erzeugt ein Parallaxenbild, um eine Straßenoberflächenunebenheit als eine dreidimensionale Form vor dem Fahrzeug zu messen, und detektiert die Oberflächenstruktur ST auf der Straße auf der Grundlage der Messergebnisse (S402). Die Stereokamera 312 erfasst unter Verwendung der Bildverarbeitung der Bildverarbeitungseinheit die Formen von Bremsschwellen auf der Straßenoberfläche und Straßenkanten oder die dreidimensionale Form von Straßenoberflächenunebenheitsdaten oder dergleichen und Informationen über die Positionen der Oberflächenstrukturen ST auf der Straße.
Die Bildverarbeitungseinheit der Stereokamera 312 setzt die Koordinaten der Position einer Oberflächenstruktur ST auf der Straße, die durch die Bildverarbeitung erfasst werden, von einer relativen Position in Bezug auf das Fahrzeug in eine Koordinatenposition des Weltkoordinatensystems um. Insbesondere erfasst die Bildverarbeitungseinheit Positionsinformationen im Weltkoordinatensystem, die der Bildgebungsposition des eigenen Fahrzeugs, wie durch die Eigenpositionierungs-Messvorrichtung 315 gemessen, entsprechen (S403) und erzeugt Positionsinformationen der Oberflächenstruktur ST auf der Straße im Weltkoordinatensystem (S404). Das Informationen bereitstellende Fahrzeug C1 überträgt daraufhin unter Verwendung der Straße-zu-Fahrzeug-Kommunikationsvorrichtung 317 die Positionsinformationen über die Oberflächenstruktur ST auf der Straße nach der Koordinatenumsetzung an den Server NS.
Der Server NS speichert die Positionsinformationen über die mehreren Oberflächenstrukturen ST auf der Straße, die von den mehreren Informationen bereitstellenden Fahrzeugen C1 oder von demselben Informationen bereitstellenden Fahrzeug C1 übertragen werden, in der Serverdatenbank DBs (S405). Wenn die Positionsinformationen über die Oberflächenstrukturen ST auf der Straße in der Serverdatenbank DBs gespeichert werden, berechnet der Server NS die Verkehrserfahrungsinförmationen auf der Karte mit einer vorgegebenen Zeitvorgabe neu und aktualisiert die Verkehrserfahrungsinformationen auf die neuesten Informationen. Wenn die Positionsinformationen über die mehreren Oberflächenstrukturen ST auf der Straße vom Informationen bereitstellenden Fahrzeug C1 empfangen werden, organisiert der Server NS Hinzufügen, Löschen und dergleichen der Informationen und sammelt und speichert Informationen über dieselbe Position als dieselben Informationen in der Serverdatenbank DBs. Der Server NS verwendet die Datenanalysevorrichtung 303, um die Positionsinformationen über die Oberflächenstrukturen ST auf der Straße, die von den mehreren Informationen bereitstellenden Fahrzeugen C1 übertragen worden sind und in der Serverdatenbank DBs gespeichert sind, als Massendaten statistisch zu analysieren, erzeugt und aktualisiert Fahrerfahrungsinformationen, bildet die Fahrerfahrungsinformationen auf eine straßenbezogene Karte ab und speichert die Informationen als Verkehrserfahrungsinformationen auf der Karte in der Serverdatenbank DBs (S406).
5 ist ein Ablaufplan, der ein übliches Bildverarbeitungsverfahren einer Stereokamera veranschaulicht, und zeigt ein Beispiel für eine Verarbeitung, die durch die Stereokamera des Informationen bereitstellenden Fahrzeugs C1 durchgeführt wird.
Zuerst erfasst die Bildgebungseinheit der Stereokamera 312 ein Paar eines linken und eines rechten aufgenommenen Bildes (S501) und erzeugt ein Parallaxenbild aus dem Paar aufgenommener Bilder (S502). Daraufhin wird ein Bildverarbeitungsbereich zum Durchführen einer Bildverarbeitung im Parallaxenbild eingestellt (S503). Um Straßenoberflächenunebenheitsdaten zu erfassen, werden gemäß der vorliegenden Ausführungsform Bereiche auf Reifenfahrwegen, durch die sich die linken und rechten Reifen des Informationen bereitstellenden Fahrzeugs C1 bewegen, als Bildverarbeitungsbereiche eingestellt.
8 ist ein Diagramm, das ein Beispiel zeigt, in dem Bildverarbeitungsbereiche in einem Parallaxenbild eingestellt sind, und ist ein Diagramm, das ein Verfahren zum Einstellen der Bildverarbeitungsbereiche veranschaulicht. In einem Parallaxenbild 801, das unter Verwendung der Stereokamera, um Bilder des Bereichs vor dem Fahrzeug aufzunehmen, erzeugt wird, sind eine Fahrstraßenoberfläche 811 einer Straße RO und weiße Linien 812 sowohl auf ihrer linken als auch auf ihrer rechten Seite gezeigt. Die Verarbeitungsbereiche 821 und 822 werden daraufhin entlang eines Fahrzeugfahrwegs eingestellt. Die Verarbeitungsbereiche 821 und 822 sind derart als ein Fahrzeugfahrweg eingestellt, dass sie sich in einer Tiefenrichtung (der Fahrtrichtung) mit einer vorgegebenen Breite auf den Reifenfahrwegen, durch die sich die linken und die rechten Reifen bewegen, erstrecken.
Daraufhin wird eine genaue Parallaxenanalyse für jede horizontale Suche durchgeführt (S504). Hier werden die Verarbeitungsbereiche 821 und 822 des Parallaxenbildes 801 in der horizontalen Richtung des Bildes, wie durch die Pfeile 831 und 832 in 8 angegeben, durchsucht. Ferner wird, wie in 10 veranschaulicht ist, ein Parallaxenwert, bei dem die Anzahl der Treffer der häufigste Wert ist, eingesetzt. 10 ist ein Diagramm, das ein Verfahren zum Bestimmen einer Parallaxe einer Straßenoberflächenunebenheit durch Suchen in einer horizontalen Richtung veranschaulicht. In dem in 8 gezeigten Beispiel wird ein horizontale Suche über die gesamten Verarbeitungsbereiche 821 und 822 in der Tiefenrichtung durchgeführt.
Daraufhin wird eine Verarbeitung, um einen Parallaxenwert für jede horizontale Suche, der in S504 berechnet worden ist, in der Tiefenrichtung des Verarbeitungsbereichs anzuordnen und die Spitzenposition der Höhe der Straßenoberflächenunebenheit zu berechnen, durchgeführt (S505). Zum Beispiel kann eine Spitzenposition, an der die Höhe der Spitzenposition ausgehend von einer Straßenoberflächen-Referenzfläche einen Wert aufweist, der größer als ein vorgegebener Schwellenwert ist, als die Position der Oberflächenstruktur ST auf der Straße bestimmt werden.
Anschließend wird eine Verarbeitung, um die Stabilität der Spitzenpositionsbestimmung zu analysieren, durchgeführt (S506). Bei dieser Stabilitätsanalyseverarbeitung wird bestimmt, ob sich die Spitzenposition gemäß der Bewegung des eigenen Fahrzeugs bewegt. Daraufhin wird der Abstand zwischen dem eigenen Fahrzeug und der Oberflächenstruktur ST auf der Straße berechnet (S507) und eine endgültige Ausgabe wird durchgeführt (S508). Bei der endgültigen Ausgabe von Schritt S508 wird eine Verarbeitung, um ein Signal für eine Warnung an den Insassen oder für eine Notbremsung an die Fahrzeugsteuervorrichtung auszugeben, durchgeführt und die Steuerung der Warnung oder der Notbremsung wird durch die Fahrzeugsteuervorrichtung durchgeführt. Jedoch ist die vorliegende Erfindung nicht darauf eingeschränkt und z. B. kann eine Konfiguration eingesetzt werden, bei der lediglich Informationen über den Abstand zwischen dem eigenen Fahrzeug und der Oberflächenstruktur ST auf der Straße an die Fahrzeugsteuervorrichtung ausgegeben werden und die Fahrzeugsteuervorrichtung eine Bestimmung bezüglich der Warnung oder der Notbremsung vornimmt.
6 ist ein Ablaufplan, der den Inhalt einer Informationsverarbeitung im Server NS und im Informationen verwendenden Fahrzeug C2 veranschaulicht.
Das Informationen verwendende Fahrzeug C2 misst die Position des eigenen Fahrzeugs unter Verwendung der Eigenpositionierungs-Messvorrichtung 325 und überträgt die Eigenpositionierungsinformationen an den Server NS (S601). Aufgrund des Empfangens der bereitgestellten Eigenpositionierungsinformationen vom Informationen verwendenden Fahrzeug C2 durchsucht der Server NS die Serverdatenbank DBs und extrahiert die Positionsinformationen über Oberflächenstrukturen auf der Straße, die in der Umgebung der Eigenposition des Informationen verwendenden Fahrzeugs C2 vorhanden sind (S602). Die Positionsinformationen werden daraufhin an das Informationen verwendende Fahrzeug C2, das die Eigenpositionierungsinformationen bereitgestellt hat, verteilt.
Aufgrund des Empfangens der Positionsinformationen über die Oberflächenstruktur ST auf der Straße, die in der Umgebung der Eigenposition vorhanden ist, vom Server NS speichert das Informationen verwendende Fahrzeug C2 die Positionsinformationen in der Fahrzeugdatenbank DBc (S603). Das Informationen verwendende Fahrzeug C2 verwendet daraufhin die Stereokamera 322, um Bilder vom Bereich vor dem eigenen Fahrzeug aufzunehmen, erfasst die aufgenommenen Bilder (S604) und detektiert durch Bildverarbeitung eine Oberflächenstruktur ST auf der Straße unter Verwendung der in der Fahrzeugdatenbank DBc gespeicherten Positionsinformationen über die Oberflächenstrukturen ST auf der Straße, die vom Server NS empfangen worden sind (S605).
Bei der Bildverarbeitung von S605 wird auf der Grundlage der Positionsinformationen über die Oberflächenstrukturen ST auf der Straße, die vom Server NS empfangen worden sind, ein Bildverarbeitungsverfahren bestimmt. Zum Beispiel wird zuerst eine Verarbeitung, um die Fahrzeugdatenbank DBc unter Verwendung der Positionsinformationen über die Oberflächenstruktur auf der Straße in der Umgebung der Eigenposition, die durch die Eigenpositionierungs-Messvorrichtung 325 gemessen wird, zu durchsuchen, durchgeführt. Ferner führt die Bildverarbeitungsverfahren-Bestimmungseinheit der Stereokamera 322 dann, wenn eine Oberflächenstruktur ST auf der Straße, die ein Detektionsziel bildet, in der Umgebung der Eigenposition vorhanden ist, eine Verarbeitung, um einen Algorithmus und/oder einen Parameter für die Bildverarbeitung zu ändern, durch.
Die Stereokamera 322 führt eine Bildverarbeitung unter Verwendung des geänderten Algorithmus und des geänderten Parameters durch und detektiert Oberflächenstrukturen ST auf der Straße. Die Stereokamera 322 ändert einen Algorithmus oder einen Parameter auf der Grundlage der Positionsinformationen über die Oberflächenstruktur ST auf der Straße, die vom Server NS empfangen werden, analysiert den Bildverarbeitungsbereich, der der Position entspricht, genau und stellt die Detektionsgenauigkeit ein.
Das Informationen verwendende Fahrzeug C2 führt eine Fahrzeugsteuerung unter Verwendung der Detektionsergebnisse von Oberflächenstrukturen ST auf der Straße durch die Stereokamera 322 durch (S606). Bei der Fahrzeugsteuerungsverarbeitung von S606 werden z. B. eine Einstellung der Fahrzeuggeschwindigkeit zum Fahren über die Oberflächenstrukturen ST auf der Straße und/oder eine Routeneinstellung und/oder eine Warnung an den Insassen durchgeführt. Zum Beispiel durchsucht die Fahrzeugsteuervorrichtung 326 die Fahrzeugdatenbank DBc nach Informationen über eine Oberflächenstruktur ST auf der Straße in der Umgebung der Eigenposition, die durch die Eigenpositionierungs-Messvorrichtung 325 gemessen wird, vergleicht die Informationen mit Informationen über eine Fahrgeschwindigkeit, die in Zuordnung zur Oberflächenstruktur ST auf der Straße gespeichert sind, und führt aufgrund des Bestimmens, dass die Geschwindigkeit des eigenen Fahrzeugs diese Geschwindigkeit überschreitet, eine Verlangsamungssteuerung durch. Wenn Informationen über eine Oberflächenstruktur ST auf der Straße, die in der Fahrzeugdatenbank DBc gespeichert sind, eine Bremsschwelle sind, wird ferner eine Verlangsamung auf eine Geschwindigkeit durchgeführt, die ermöglicht, dass das Fahrzeug sicher oder komfortabel über die Bremsschwelle fährt, oder eine obere Grenzgeschwindigkeit der automatischen Abstandsteuerung ACC wird auf eine Geschwindigkeit geändert, die ermöglicht, dass das Fahrzeug sicher oder komfortabel fährt. Ferner wird in der Fahrzeugrouten-Erzeugungsvorrichtung 328 eine Routeneinstellung durchgeführt, derart, dass das Informationen verwendende Fahrzeug C2 entlang einer Straße oder einer Fahrspur fährt, auf der es sicher oder komfortabel fahren kann. Wenn bestimmt wird, dass die Geschwindigkeit des Informationen verwendenden Fahrzeugs C2 überhöht ist, wird in der Mensch-Maschine-Schnittstelle 327 ein Warnalarm akustisch ausgegeben oder eine Warnung wird auf dem Bildschirm ausgegeben, um den Insassen zu warnen. Es sei erwähnt, dass dann ,wenn das Informationen verwendende Fahrzeug C2 eine aktive Federung aufweist, die ermöglicht, dass der Dämpfungswert der Federung gesteuert wird, der Dämpfungswert auf einen Dämpfungswert eingestellt werden kann, der das Verhalten des Fahrzeugs, wenn es über die Bremsschwelle fährt, unterdrückt.
7 ist ein Ablaufplan, der eine Verarbeitung durch die Stereokamera des Informationen verwendenden Fahrzeugs C2 veranschaulicht. Beschreibungen von Konfigurationen, die gleichartig wie diejenigen in dem Ablaufplan sind, der in 5 gezeigt ist, werden weggelassen.
Die Stereokamera 322 ändert das Bildverarbeitungsverfahren demgemäß, ob eine Oberflächenstruktur ST auf der Straße in der Umgebung der Eigenposition vorhanden ist oder nicht. Wenn keine Oberflächenstruktur ST auf der Straße in der Umgebung der Eigenposition vorhanden ist, führt die Stereokamera 322 eine reguläre Bildverarbeitung unter Verwendung desselben Algorithmus und desselben Parameters wie derjenigen des Informationen bereitstellenden Fahrzeugs C1 durch. Wenn andererseits eine Oberflächenstruktur ST auf der Straße in der Umgebung der Eigenposition vorhanden ist, führt die Stereokamera 322 im Gegensatz dazu, wenn keine Oberflächenstruktur ST auf der Straße vorhanden ist, eine Bildverarbeitung durch, indem ein Algorithmus und/oder ein Parameter für die Bildverarbeitung geändert werden.
Wenn eine Oberflächenstruktur ST auf der Straße in der Umgebung der Eigenposition vorhanden ist, werden bei der Verarbeitung der Einstellung des Verarbeitungsbereichs von S503A und der Verarbeitung der genauen Parallaxenanalyse für jede horizontale Suche von S504A eine Verarbeitung, um den Bildverarbeitungsbereich der Straßenoberflächenunebenheit einzugrenzen, und eine Verarbeitung, um die Spitzenposition zu begrenzen, auf der Grundlage der Positionsinförmationen über die Oberflächenstrukturen ST auf der Straße, die vom Server NS empfangen werden, durchgeführt.
9 ist ein Diagramm, das ein Bildverarbeitungsverfahren unter Verwendung von Positionsinformationen veranschaulicht, und zeigt ein Beispiel, bei dem Bildverarbeitungsbereiche eingegrenzt werden.
Wenn z. B., wie in 9 veranschaulicht, bestimmt wird, dass sich das Informationen verwendende Fahrzeug C2 der Position einer Oberflächenstruktur ST auf der Straße, die vom Server NS empfangen wird, nähert und in einen vorgegebenen Bereich eingetreten ist, führt die Bildverarbeitungsverfahren-Bestimmungseinheit der Stereokamera 322 eine Verarbeitung, um die Bildverarbeitungsbereiche der Straßenoberflächenunebenheit auf der Grundlage der Positionsinformationen über die Oberflächenstrukturen ST auf der Straße, die vom Server NS empfangen werden, einzugrenzen, durch. In dem in 9 gezeigten Beispiel wird das Eingrenzen der Bereiche von den ersten Bildverarbeitungsbereichen 821 und 822, die entlang der Tiefenrichtung auf den Reifenfahrwegen eingestellt sind, auf zweite Bildverarbeitungsbereiche 911 und 912 auf den Reifenfahrwegen, die der Position der Oberflächenstruktur ST auf der Straße entsprechen, durchgeführt.
Ferner ist es durch das Durchführen einer zeitbasierten Weltkoordinatenumsetzung (einer Umsetzung von Positionsinformationen über einen Gegenstand in ein dreidimensionales/zweidimensionales Koordinatensystem, die zeitlich veränderliche Informationen wie etwa Bildgebung, Positionsmessung und Fahrzeuggeschwindigkeit berücksichtigt und ein Kartenkoordinatensystem und ein auf der Kamera beruhendes Bildgebungskoordinatensystem berücksichtigt) unter Berücksichtigung von Zeitinformationen wie etwa der Eigenposition des eigenen Fahrzeugs, die unter Verwendung des Empfangs von Funkwellen von einem GPS oder einer Basisstation geschätzt wird, des Aktualisierungszyklus der GPS-Informationen, der Geschwindigkeit des eigenen Fahrzeugs zu der Zeit, von Positionsinformationen über die Oberflächenstruktur ST auf der Straße, die vom Server NS empfangen werden, eines Kartenschätzungsfehlers zur aktuellen Fahrzeit (hängt außerdem von Funkwellenbedingungen, der Anzahl der Wiederholungen der Detektion durch die Basisstation und dergleichen ab), einer Informationsübertragung in der Fahrzeug-Bordkommunikationsumgebung und der Zeitvorgabe der Bildaufnahme durch die Bildgebung durch die Kameravorrichtung möglich, die Bereiche, in denen eine Straßenoberflächenunebenheit analysiert werden soll, von einem durch die Kamera aufgenommenen Bild auf andere Abschnitte der Reifenfahrwege einzugrenzen. Als ein Ergebnis wird die Dichte (Zielpunkt und zu berechnende Teilchengröße) der Parallaxenbildberechnung S503 und der Berechnung der Straßenoberflächenunebenheit S504 und S505 teilweise erhöht und somit kann die Verarbeitungsgenauigkeit verbessert werden, während eine Erhöhung der Rechenlast so weit wie möglich unterbunden wird. Es ist außerdem möglich, eine Verarbeitung durchzuführen, die zu einer Verbesserung der Genauigkeit wie etwa der Erhöhung der Wahrscheinlichkeit, eine positive Bestimmung durchzuführen, führt, indem der Schwellenwert (z. B. der Schwellenwert der Höhenbestimmung bei der Spitzenberechnung S505) zur Zeit des Bestimmens der Straßenoberflächenunebenheit gelockert wird.
Die Bildverarbeitung der zweiten Bildverarbeitungsbereiche 911 und 912 wird daraufhin auf eine Bildverarbeitung mit einer höheren Genauigkeit als bei der Bildverarbeitung der ersten Bildverarbeitungsbereiche geändert und die Oberflächenstruktur ST auf der Straße wird detektiert. Die zweiten Bildverarbeitungsbereiche 911 und 912 sind mit einer kürzeren Länge in der Tiefenrichtung als bei den ersten Bildverarbeitungsbereichen 821 und 822 eingestellt und weisen eine Größe und eine Form auf, die die Oberflächenstruktur ST auf der Straße im Parallaxenbild abdecken. Wie oben beschrieben ist, werden die Bildverarbeitungsbereiche verkleinert, indem sie eingegrenzt werden, wodurch ermöglicht wird, dass die Bildverarbeitungslast verringert wird. Daher kann eine genauere Bildverarbeitung in einer kurzen Zeit unter Verwendung begrenzter Hardwarebetriebsmittel durchgeführt werden und somit kann eine Oberflächenstruktur ST auf der Straße, die ein Detektionsziel bildet, hochgenau detektiert werden.
11 ist ein Diagramm, das Ergebnisse einer Straßenoberflächenunebenheits-Spitzendetektion zeigt, Und zeigt Detektionswerte der Straßenoberflächenhöhe in einer Tiefenrichtung eines Reifenfahrwegs. In der Grafik aus 11 stellt die horizontale Achse den Abstand (m) in der Tiefenrichtung dar und die vertikale Achse stellt die Höhe der Straßenoberfläche (cm), die durch die Stereokamera 322 detektiert wird, dar.
Die Bildverarbeitungsverfahren-Bestimmungseinheit der Stereokamera 322 bestimmt die Spitzenposition einer Straßenoberflächenunebenheit in einem ersten Detektionsbereich, der entlang der Tiefenrichtung des Reifenfahrwegs eingestellt ist, wenn in der Umgebung der Eigenposition keine Oberflächenstruktur ST auf der Straße vorhanden ist, ändert den Algorithmus oder den Parameter der Bildverarbeitung durch die Bildverarbeitungseinheit, wenn eine Oberflächenstruktur ST auf der Straße in der Umgebung der Eigenposition vorhanden ist, und bestimmt die Spitzenposition der Straßenoberflächenunebenheit in einem zweiten Detektionsbereich auf den Reifenfahrwegen, der der Position der Oberflächenstruktur ST auf der Straße entspricht (S505A).
Ferner stellt die Bildverarbeitungsverfahren-Bestimmungseinheit der Stereokamera 322 den Bestimmungsschwellenwert zum Bestimmen der Spitzenposition der Straßenoberflächenunebenheit im zweiten Detektionsbereich auf einen Wert ein, der größer als der Bestimmungsschwellenwert zum Bestimmen der Spitzenposition der Straßenoberflächenunebenheit im ersten Detektionsbereich ist (S505A). Als ein Ergebnis kann Rauschen vor und nach der Spitzenposition entfernt werden, die Rechenlast für die lokale Spitzendetektion der Straßenoberflächenunebenheit kann verringert werden und die Bestimmungsgenauigkeit einer Oberflächenstruktur ST auf der Straße kann verbessert werden.
Bei der endgültigen Ausgabe von S508A wird ebenso wie in S508 eine Verarbeitung, um ein Signal für eine Warnung oder eine Notbremsung an die Fahrzeugsteuervorrichtung oder eine Verarbeitung, um lediglich Informationen über den Abstand zwischen dem eigenen Fahrzeug und der Oberflächenstruktur ST auf der Straße auszugeben, durchgeführt. Es wird außerdem bestimmt, ob die Zuverlässigkeit des aufgenommenen Bildes, das durch die Stereokamera 322 aufgenommen worden ist, größer oder gleich einem Schwellenwert ist. Wenn z. B. die Zuverlässigkeit aufgrund des Wetters oder der externen Lichtbedingungen niedriger als der Schwellenwert ist, wird die Verarbeitung von S501 bis S507 übersprungen, die endgültige Ausgabe wird auf der Grundlage der Positionsinformationen über Oberflächenstrukturen ST auf der Straße, die vom Server NS verteilt werden, durchgeführt und eine Fahrzeugsteuerung wie etwa eine Warnung an den Insassen oder eine Steuerung des Federdrucks, Verlangsamung oder Lenkung wird auf der Grundlage der endgültigen Ausgabe durchgeführt.
Ferner ist in der vorliegenden Ausführungsform ein Schritt S509A, in dem Verifizierungsinformationen über Oberflächenstrukturen ST auf der Straße berechnet werden, nach dem Schritt S508A vorgesehen.
Bei der Verarbeitung zur Berechnung von Verifizierungsinformationen von S509A führt die Stereokamera 322 eine Verarbeitung, um die Position einer Oberflächenstruktur ST auf der Straße, die durch die Bildverarbeitung detektiert wird, unter Verwendung der Eigenpositionierungsinformationen von der Eigenpositionierungs-Messvorrichtung 325 in eine Koordinatenposition in einem Weltkoordinatensystem umzusetzen, und eine Verarbeitung, um Informationen über die Position zu erfassen, an der ein Verhalten des eigenen Fahrzeugs detektiert wird, wenn das eigene Fahrzeug über die Oberflächenstruktur ST auf der Straße fährt, durch.
Die Verarbeitung, um die Position einer Oberflächenstruktur ST auf der Straße in Weltkoordinaten umzusetzen, wird auf der Grundlage des Abstands zur Oberflächenstruktur ST auf der Straße, die durch die Bildverarbeitung detektiert wird, durchgeführt, indem Folgendes berücksichtigt wird: (1) die Geschwindigkeit des eigenen Fahrzeugs zur Zeit der Bildgebung, (2) die Zeitvorgabe der Bildaufnahme durch die Bildgebungseinheit der Stereokamera 322, (3) die Eigenpositionierungsinformationen durch die Eigenpositionierungs-Messvorrichtung 325, (4) die Zeitvorgabe der Erfassung der Eigenpositionierungsinformationen durch die Eigenpositionierungs-Messvorrichtung 325, (5) die Kommunikationsverzögerungsgeschwindigkeit der Fahrzeugbordvorrichtung und dergleichen. Eine zeitbasierte Weltkoordinaten-Umsetzungsverarbeitung dient dazu, Positionsinformationen in ein dreidimensionales/zweidimensionales Koordinatensystem umzusetzen, indem Informationen über eine zeitliche Veränderung wie etwa Bildgebung, Positionsmessung und Fahrzeuggeschwindigkeit, ein Kartenkoordinatensystem und ein auf der Kamera beruhendes Bildgebungskoordinatensystem berücksichtigt werden. Außerdem können bei der Detektion des Verhaltens des eigenen Fahrzeugs, wenn das eigene Fahrzeug über die Oberflächenstruktur ST auf der Straße fährt, Nicken, eine vertikale Beschleunigung und eine Änderung des Federdrucks durch einen Fahrzeugbordsensor wie etwa einen G-Sensor zusätzlich zur Detektion einer vertikalen Bewegung aus aufgenommenen Bildern durch die Stereokamera 322 detektiert werden.
Bei der Berechnung der Verifizierungsinformationen in S509A wird eine Verarbeitung, um aus dem Verhalten des eigenen Fahrzeugs die Position der Oberflächenstruktur ST auf der Straße, wie durch die Stereokamera 322 des Informationen verwendenden Fahrzeugs C2 detektiert, zu verifizieren und die Verifizierungsinformationen an den Server NS zu übertragen, durchgeführt. Der Server NS kann die Verifizierungsinformationen verwenden, um die Genauigkeit für das Schätzen der Positionen von Oberflächenstrukturen ST auf der Straße zu verbessern.
<Zweite Ausführungsform>
Als Nächstes wird ein Außenerkennungssystem gemäß einer zweiten Ausführungsform unter Bezugnahme auf die Zeichnungen beschrieben.
13 ist ein Ablaufplan, der einen Verarbeitungsinhalt des Außenerkennungssystems gemäß der zweiten Ausführungsform veranschaulicht, und 14 ist ein Diagramm, das ein Beispiel für eine Situation, in der die in 13 gezeigte Verarbeitung durchgeführt wird, zeigt.
Ein charakteristisches Merkmal der vorliegenden Ausführungsform ist, dass durch das Detektieren einer Fahrzeugschwingung in der vertikalen Richtung durch das Fahren über die Oberflächenstruktur ST auf der Straße eine Bildverarbeitung unter Verwendung eines Bildes, das durch das Abbilden der Position der Schwingungsdetektion, die dieser Schwingung entspricht, erhalten wird, auf dem Server NS durchgeführt wird, obwohl das Informationen bereitstellende Fahrzeug C1 unter Verwendung der Stereokamera 312 eine Oberflächenstruktur ST auf der Straße nicht detektieren kann.
Wie in 14 veranschaulicht ist, erfasst die Stereokamera 312 des Informationen bereitstellenden Fahrzeugs C1 z. B. aufgenommene Bilder, die während des Fahrens aufgenommen werden, und speichert die aufgenommenen Bilder in der Fahrzeugdatenbank (S1301). Wenn ferner der G-Sensor 313 z. B. eine Schwingung detektiert, die größer oder gleich einem vorab eingestellten Schwellenwert ist, derart, dass eine Fahrzeugschwingung in der vertikalen Richtung als ein Ergebnis des Fahrens über eine Oberflächenstruktur ST auf der Straße detektiert wird (S1302); werden Positionsinformationen über einen Ort Pn der Schwingungsdetektion auf der Grundlage von Eigenpositionierungsinformationen von der Eigenpositionierungs-Messvorrichtung erfasst (S1303). Das Verfahren zum Detektieren einer Fahrzeugschwingung ist nicht auf den G-Sensor 313 eingeschränkt, stattdessen können z. B. eine vertikale Bewegung aus Bildern, die durch die Stereokamera 312 aufgenommen werden, Nicken durch einen Fahrzeugbordsensor wie etwa einen Gyro-Sensor, eine vertikale Beschleunigung oder eine Änderung des Federdrucks verwendet werden.
Die Stereokamera 312 durchsucht die Fahrzeugdatenbank, um ein aufgenommenes Bild, in dem der Ort Pn der Schwingungsdetektion aufgenommen wurde, aus den aufgenommenen Bildern, die in der Fahrzeugdatenbank gespeichert sind, zu extrahieren (S1304). Wie in 14 veranschaulicht ist, wird hier ein aufgenommenes Bild, das aufgenommen wurde, wenn die Stereokamera 312 ausgehend von der Zeit, zu der die Schwingung in der vertikalen Richtung detektiert wurde, um eine Zeit t zu einer Position Pn-1 zurückgeht, an der der Ort Pn der Schwingungsdetektion aufgenommen wurde, als ein Bild, in dem der Ort Pn der Schwingungsdetektion aufgenommen wurde, extrahiert. Die Straße-zu-Fahrzeug-Kommunikationsvorrichtung 317 empfängt von der Stereokamera 312 Informationen über den Ort Pn der Schwingungsdetektion und über das aufgenommene Bild, in dem der Ort aufgenommen wurde, und überträgt die Informationen an den Server NS.
Aufgrund des Erfassens der Informationen über den Ort Pn der Schwingungsdetektion und des aufgenommenen Bildes des Ortes Pn der Schwingungsdetektion vom Informationen bereitstellenden Fahrzeug C1 verwendet der Server NS die Datenanalysevorrichtung 303, um eine Bildverarbeitung, um die Oberflächenstruktur ST auf der Straße aus dem aufgenommenen Bild, in dem der Ort Pn der Schwingungsdetektion detektiert wurde, zu detektieren, durchzuführen (S1305). Die Bildverarbeitung, die durch den Server NS durchgeführt wird, unterscheidet sich hinsichtlich des Verarbeitungsinhalts von der Bildverarbeitung, die durch die Stereokamera 312 durchgeführt wird, und ergibt einen genaueren und weiter entwickelten Verarbeitungsinhalt als die Bildverarbeitung, die durch die Stereokamera 312 durchgeführt wird. Weil der Server NS keine Einschränkungen der Verarbeitungszeit wie diejenigen der Stereokamera 312 aufweist und Hardwarebetriebsmittel und Softwarebetriebsmittel aufweist, die eine höherwertige Spezifikation aufweisen und umfangreicher sind als bei der Stereokamera 312, ist es möglich, eine Bildverarbeitung mit einem genaueren und weiter entwickelten Inhalt als bei der Stereokamera 312 durchzuführen. Daher kann der Server NS Oberflächenstrukturen ST auf der Straße, die durch die Stereokamera 312 detektiert werden könnten, detektieren und die Gründe, warum eine Detektion durch die Stereokamera 312 nicht möglich war, verifizieren.
Der Server NS speichert die Detektionsergebnisse von Oberflächenstrukturen ST auf der Straße aus der Bildverarbeitung durch die Datenanalysevorrichtung 303 und die Positionsinformationen über den Ort Pn der Schwingungsdetektion in der Serverdatenbank DBs (S1306), analysiert die Positionsinformationen über die Oberflächenstrukturen ST auf der Straße mit einer vorgegebenen Zeitvorgabe und berechnet die Positionsinformationen neu (S1307).
Mit dem Außenerkennungssystem gemäß der vorliegenden Ausführungsform kann eine Oberflächenstruktur ST auf der Straße, die durch die Stereokamera 312 nicht detektiert werden konnte, durch Bildverarbeitung im Server NS detektiert werden und die Genauigkeit der Positionsinformationen über die Oberflächenstruktur ST auf der Straße, die in der Serverdatenbank DBs gespeichert sind, kann weiter verbessert werden.
Es sei erwähnt, dass in der vorliegenden Ausführungsform beschrieben worden ist, dass die Bildverarbeitung zur Verifizierung im Server NS durchgeführt wird, wenn die Stereokamera 312 des Informationen bereitstellenden Fahrzeugs C1 eine Oberflächenstruktur ST auf der Straße nicht detektieren konnte, jedoch kann die Bildverarbeitung zur Verifizierung ebenso in Fällen, bei denen die Stereokamera 312 die Oberflächenstruktur ST auf der Straße detektiert hat, im Server NS durchgeführt werden. Ferner ist in der vorliegenden Ausführungsform ein Fall, bei dem das Informationen bereitstellende Fahrzeug C1 beteiligt ist, als ein Beispiel beschrieben worden. Jedoch kann die Konfiguration derart sein, dass die Fahrzeugschwingung in der vertikalen Richtung durch den G-Sensor 323 oder dergleichen im Informationen verwendenden Fahrzeug C2 detektiert wird und die Bildverarbeitung im Server NS unter Verwendung eines aufgenommenen Bildes des Ortes, an dem die Fahrzeugschwingung detektiert wurde, durchgeführt wird.
<Dritte Ausführungsform>
Als Nächstes wird ein Außenerkennungssystem gemäß einer dritten Ausführungsform unter Bezugnahme auf die Zeichnungen beschrieben.
15 ist ein Ablaufplan, der einen Verarbeitungsinhalt eines Außenerkennungssystems gemäß der dritten Ausführungsform veranschaulicht, und zeigt ein Analyseverfahren auf der Grundlage von Informationen über eine Position einer Oberflächenstruktur auf der Straße und über eine Fahrzeugschwingung.
Es ist eine Eigenschaft der vorliegenden Ausführungsform, dass zusätzlich zu den Positionsinformationen über die Oberflächenstruktur ST auf der Straße Informationen über den Grad des Einflusses auf eine Fahrzeugschwingung, wenn das Fahrzeug tatsächlich fährt, im Server gespeichert werden und zur Fahrzeugsteuerung verwendet werden, wenn das Informationen verwendende Fahrzeug C2 über die Oberflächenstruktur ST auf der Straße fährt.
Das Informationen bereitstellende Fahrzeug C1 erfasst das aufgenommene Bild (S1501) und detektiert unter Verwendung von Bildverarbeitung die Oberflächenstruktur ST auf der Straße und misst den Abstand zur Oberflächenstruktur ST auf der Straße und die Höhe der Oberflächenstruktur ST auf der Straße ausgehend von der Straßenoberflächen-Referenzfläche (S1502). Es sei erwähnt, dass die Straßenoberflächen-Referenzfläche z. B. aus der durchschnittlichen Position der Straßenoberflächenunebenheit in der Tiefenrichtung erhalten werden kann. Das Informationen bereitstellende Fahrzeug C1 verwendet daraufhin den G-Sensor 323, um Schwingung zu detektieren, wenn es über eine Oberflächenstruktur ST auf der Straße fährt (S1503), und erfasst Positionsinformationen über den Ort der Schwingungsdetektion (S1504).
Ferner wird der Grad des Einflusses auf die Fahrzeugschwingung auf der Grundlage des Ausmaßes der Schwingung, die durch den G-Sensor 323 detektiert wird, berechnet, die Positionsinformationen über die Oberflächenstruktur ST auf der Straße und die Informationen über die Position des Ortes der Schwingungsdetektion und der Grad des Einflusses auf die Fahrzeugschwingung werden an den Server NS übertragen und der Server NS speichert diese Informationselemente in der Serverdatenbank DBs (S1505). Der Server NS sammelt die Positionsinformationen über die Oberflächenstrukturen ST auf der Straße, die in der Serverdatenbank DBs gespeichert sind, und die Informationen über die Position des Ortes einer Schwingungsdetektion und den Grad des Einflusses auf die Fahrzeugschwingung, verwendet die Datenanalysevorrichtung 303, um die Massendaten statistisch zu analysieren, aktualisiert die Fahrerfahrungsinformationen, bildet die Fahrerfahrungsinformationen auf eine straßenbezogene Karte ab und erzeugt Verkehrserfahrungsinformationen auf der Karte. Aufgrund des Speicherns der Positionsinformationen über die Oberflächenstrukturen ST auf der Straße in der Serverdatenbank DBs berechnet der Server NS die Verkehrserfahrungsinformationen auf der Karte mit einer vorgegebenen Zeitvorgabe neu, um die Informationen auf die neuesten Informationen zu aktualisieren (S1506).
Aufgrund des Empfangens der Bereitstellung der Eigenpositionierungsinformationen vom Informationen bereitstellenden Fahrzeug C1 überträgt der Server NS Positionsinformationen über die Oberflächenstrukturen ST auf der Straße, die in der Umgebung der Eigenposition des Informationen verwendenden Fahrzeugs C2 vorhanden sind, und die Informationen über den Grad des Einflusses auf die Fahrzeugschwingung an das Informationen verwendende Fahrzeug C2.
Das Informationen verwendende Fahrzeug C2 führt auf der Grundlage der Positionsinformationen über die Oberflächenstrukturen ST auf der Straße, die in der Umgebung der Eigenposition vorhanden sind, und der Informationen über den Grad des Einflusses auf die Fahrzeugschwingung eine Fahrzeugsteuerung wie etwa Verlangsamung der Fahrgeschwindigkeit und Einstellung der Dämpfungskraft der Federung, um die Fahrzeugschwingung zu verringern, durch.
Weil gemäß der vorliegenden Ausführungsform Informationen über den Grad des Einflusses auf die Fahrzeugschwingung, der durch eine Oberflächenstruktur ST auf der Straße ausgeübt wird, dem Informationen verwendenden Fahrzeug C2 bereitgestellt werden können, kann eine Fahrzeugsteuerung im Informationen verwendenden Fahrzeug C2 aktiv durchgeführt werden, derart dass die Schwingung verringert wird und der Fahrkomfort des Insassen verbessert werden kann.
Obwohl die Ausführungsformen der vorliegenden Erfindung oben im Einzelnen beschrieben worden sind, ist die vorliegende Erfindung nicht auf oder durch die obigen Ausführungsformen eingeschränkt und diverse Entwurfsänderungen können vorgenommen werden, ohne vom Erfindungsgedanken der vorliegenden Erfindung, der in den Ansprüchen beschrieben ist, abzuweichen. Zum Beispiel sind die oben beschriebenen Ausführungsformen im Einzelnen beschrieben worden, um das Verständnis der vorliegenden Erfindung zu erleichtern, jedoch ist die vorliegende Erfindung nicht notwendigerweise auf Ausführungsformen, die alle beschriebenen Konfigurationen aufweisen, eingeschränkt. Ferner kann ein Abschnitt der Konfiguration einer Ausführungsform durch die Konfiguration einer weiteren Ausführungsform ersetzt werden und die Konfiguration einer weiteren Ausführungsform kann ebenso zur Konfiguration der einen Ausführungsform hinzugefügt werden. Außerdem ist es möglich, andere Konfigurationen zur Konfiguration jeder Ausführungsform hinzuzufügen, daraus zu löschen oder gegen einen Abschnitt davon auszutauschen.
Liste der Bezugszeichen

C1: Informationen bereitstellendes Fahrzeug
C2: Informationen verwendendes Fahrzeug (eigenes Fahrzeug)
NS: Server (externer Server)
DBs: Serverdatenbank
DBc: Fahrzeugdatenbank
ST: Oberflächenstruktur auf der Straße
322: Stereokamera
323: G-Sensor
324: Straße-zu-Fahrzeug-Kommunikationsvorrichtung (Fahrzeugkommunikationseinheit)
325: Eigenpositionierungs-Messvorrichtung
821, 822: erster Bildverarbeitungsbereich
911, 912: zweiter Bildverarbeitungsbereich

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2010287044 A [0003]

Claims

Außenerkennungssystem, das eine dreidimensionale Form einer Straßenoberfläche, auf der ein eigenes Fahrzeug C2 fährt, erkennt, wobei das eigene Fahrzeug Folgendes umfasst: eine Bildverarbeitungseinheit, die eine Bildverarbeitung, um eine Oberflächenstruktur auf der Straße aus einem aufgenommenen Bild, das durch eine Fahrzeugbordkamera aufgenommen wird, zu detektieren, durchführt; eine Fahrzeugkommunikationseinheit, die Positionsinformationen über die Oberflächenstruktur auf der Straße von einem externen Server empfängt; und eine Bildverarbeitungsverfahren-Bestimmungseinheit, die ein Bildverarbeitungsverfahren der Bildverarbeitungseinheit auf der Grundlage der Positionsinformationen über die Oberflächenstruktur auf der Straße, die durch die Fahrzeugkommunikationseinheit empfangen werden, ändert.
Außenerkennungssystem nach Anspruch 1, wobei die Bildverarbeitungsverfahren-Bestimmungseinheit einen Algorithmus oder einen Parameter der Bildverarbeitung durch die Bildverarbeitungseinheit ändert.
Außenerkennungssystem nach Anspruch 2, wobei die Bildverarbeitungsverfahren-Bestimmungseinheit einen Bildverarbeitungsbereich der Bildverarbeitung durch die Bildverarbeitungseinheit von einem ersten Bildverarbeitungsbereich, der entlang eines Fahrzeugfahrwegs des eigenen Fahrzeugs eingestellt ist, auf einen zweiten Bildverarbeitungsbereich auf dem Fahrzeugfahrweg, der einer Position der Oberflächenstruktur auf der Straße entspricht, eingrenzt.
Außenerkennungssystem nach Anspruch 3, wobei die Bildverarbeitungsverfahren-Bestimmungseinheit die Bildverarbeitung des zweiten Bildverarbeitungsbereichs auf eine Bildverarbeitung mit einer höheren Genauigkeit als bei der Bildverarbeitung des ersten Bildverarbeitungsbereichs einstellt.
Außenerkennungssystem nach Anspruch 2, wobei die Bildverarbeitungseinheit durch die Bildverarbeitung eine Spitzenposition einer Straßenoberflächenunebenheit detektiert, und die Bildverarbeitungsverfahren-Bestimmungseinheit einen Bereich, in dem die Spitzenposition der Straßenoberflächenunebenheit durch die Bildverarbeitung durch die Bildverarbeitungseinheit detektiert wird, von einem ersten Detektionsbereich, der entlang des Fahrzeugfahrwegs des eigenen Fahrzeugs eingestellt ist, auf einen zweiten Detektionsbereich auf dem Fahrzeugfahrweg, der der Position der Oberflächenstruktur auf der Straße entspricht, begrenzt.
Außenerkennungssystem nach Anspruch 5, wobei die Bildverarbeitungsverfahren-Bestimmungseinheit einen Bestimmungsschwelleηwert zum Bestimmen der Spitzenposition derStraßenoberflächenunebenheit im zweiten Detektionsbereich auf einen Wert einstellt, der größer als ein Bestimmungsschwellenwert zum Bestimmen der Spitzenposition der Straßenoberflächenunebenheit im ersten Detektionsbereich ist.
Außenerkennungssystem nach Anspruch 1, wobei das eigene Fahrzeug Folgendes umfasst: eine Eigenpositionierungs-Messeinheit, die Positionsinformationen des eigenen Fahrzeugs misst, die durch eine Koordinatenposition in einem Weltkoordinatensystem angegeben werden; und eine Koordinatenumsetzungseinheit, die die Positionsinformationen über die Oberflächenstruktur auf der Straße, die durch die Fahrzeugkommunikationseinheit empfangen werden, von einer Koordinatenposition im Weltkoordinatensystem in eine Koordinatenposition in einem Koordinatensystem des eigenen Fahrzeugs umsetzt, und die Bildverarbeitungsverfahren-Bestimmungseinheit das Bildverarbeitungsverfahren der Bildverarbeitungseinheit auf der Grundlage der Positionsinformationen über die Oberflächenstruktur auf der Straße, die durch die Koordinatenumsetzungseinheit in die Koordinatenposition im Koordinatensystem des eigenen Fahrzeugs umgesetzt worden sind, ändert.
Außenerkennungssystem nach Anspruch 7, wobei die Koordinatenumsetzungseinheit die Umsetzung der Koordinatenposition unter Verwendung beliebiger einer Fahrzeuggeschwindigkeit des eigenen Fahrzeugs, einer Zeitvorgabe der Bildaufnahme durch die Fahrzeugbordkamera, einer Zeitvorgabe der Erfassung der Eigenpositionierungsinformationen von der Eigenpositionierungs-Messeinheit und einer Kommunikationsverzögerungsgeschwindigkeit zwischen internen Vorrichtungen des eigenen Fahrzeugs durchführt.
Außenerkennungssystem nach Anspruch 1, das ferner einen externen Server umfasst, der mit der Fahrzeugkommunikationseinheit des eigenen Fahrzeugs kommunikativ verbunden ist, wobei der externe Server Folgendes umfasst: eine Serverdatenbank, die Positionsinformationen über die Oberflächenstruktur auf der Straße speichert; und eine Serverkommunikationseinheit, die Positionsinformationen über eine Oberflächenstruktur auf der Straße, die in der Nähe des eigenen Fahrzeugs vorhanden ist, aus der Serverdatenbank extrahiert und die die Positionsinformationen an das eigene.Fahrzeug verteilt.
Außenerkennungssystem nach Anspruch 9, das ferner mindestens ein oder mehrere Informationen bereitstellende Fahrzeuge umfasst, die mit dem externen Server auf kommunikationsfähige Weise verbunden sind und die Positionsinformationen über die Oberflächenstruktur auf der Straße übertragen, wobei die Informationen bereitstellenden Fahrzeuge Folgendes umfassen. eine Einheit zur Detektion einer Oberflächenstruktur auf der Straße, die die Oberflächenstruktur auf der Straße durch Messen einer dreidimensionalen Form einer Fahrstraßenoberfläche detektiert; und ein Positionsinformationen-Erfassungsmittel, das Positionsinformationen über die Oberflächenstruktur auf der Straße, die durch die Einheit zur Detektion einer Oberflächenstruktur auf der Straße detektiert wird, erfasst.
Außenerkennungssystem nach Anspruch 10, wobei der externe Server eine Datenanalyseeinheit umfasst, die die Positionsinformationen über mehrere der Oberflächenstrukturen auf der Straße, die von den Informationen bereitstellenden Fahrzeugen empfangen werden, statistisch analysiert, Fahrerfahrungsinformationen erzeugt und die erzeugten Fahrerfahrungsinformationen auf eine straßenbezogene Karte abbildet.
Außenerkennungssystem nach Anspruch 10, wobei das Informationen bereitstellende Fahrzeug eine Fahrzeugschwingungs-Detektionseinheit, die eine Fahrzeugschwingung in einer vertikalen Richtung detektiert, und eine Stereokamera als die Einheit zur Detektion einer Oberflächenstruktur auf der Straße umfasst, dann, wenn die Fahrzeugschwingungs-Detektionseinheit eine Fahrzeugschwingung detektiert, die größer oder gleich einem Schwellenwert ist, die Stereokamera ein aufgenommenes Bild, in dem ein Ort einer Schwingungsdetektion, an dem die Fahrzeugschwingung detektiert wurde, aufgenommen ist, extrahiert und Positionsinformationen über den Ort der Schwingungsdetektion und das aufgenommene Bild, in dem der Ort der Schwingungsdetektion aufgenommen wurde, an den externen Server überträgt, und der externe Server eine Bildverarbeitung, um die Oberflächenstruktur auf der Straße aus dem aufgenommenen Bild, das vom eigenen Fahrzeug erfasst wurde und in dem der Ort der Schwingungsdetektion aufgenommen wurde, zu detektieren, durchführt und dann, wenn die Oberflächenstruktur auf der Straße durch die Bildverarbeitung detektiert wird, der externe Server eine Position des Ortes der Schwingungsdetektion als die Position der Oberflächenstruktur auf der Straße in der Serverdatenbank speichert.
Außenerkennungssystem nach Anspruch 12, wobei das Informationen bereitstellende Fahrzeug einen Grad des Einflusses auf das Fahrzeug, wenn das Fahrzeug über die Oberflächenstruktur auf der Straße fährt, auf der Grundlage des Ausmaßes der Fahrzeugschwingung berechnet und Positionsinformationen über einen Ort einer Schwingungsdetektion, Informationen über den Grad des Einflusses auf das Fahrzeug und Positionsinformationen über die Oberflächenstruktur auf der Straße an den externen Server überträgt, der externe Server die Positionsinformationen über die Oberflächenstruktur auf der Straße und die Informationen über den Grad des Einflusses auf das Fahrzeug in der Serverdatenbank speichert, und dann, wenn die Positionsinformationen über den Ort einer Schwingungsdetektion und die Informationen über den Grad des Einflusses auf das Fahrzeug vom externen Server empfangen werden, das eigene Fahrzeug eine Fahrzeugsteuerung auf der Grundlage der Informationen über den Grad des Einflusses auf das Fahrzeug durchführt.