DE102018108027B4

DE102018108027B4 - Objekterfassungsvorrichtung

Info

Publication number: DE102018108027B4
Application number: DE102018108027.1A
Authority: DE
Inventors: Mineki Soga
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2017-04-07
Filing date: 2018-04-05
Publication date: 2024-04-18
Anticipated expiration: 2038-04-06
Also published as: CN108692719B; US10909395B2; US20180293450A1; CN108692719A; JP2018180772A; JP6589926B2; DE102018108027A1

Abstract

Objekterfassungsvorrichtung (100), aufweisend:eine Bildgebungsvorrichtung (11), welche derart konfiguriert ist, dass diese eine Umgebung eines betreffenden Fahrzeugs (1) abbildet und ein Umgebungsbild erhält;eine Erfassungsvorrichtung (15) für ein Objekt von Interesse, welche derart konfiguriert ist, dass diese ein Objekt von Interesse aus dem Umgebungsbild erfasst und erste Bildkoordinaten ausgibt, welche eine Position des erfassten Objekts von Interesse auf dem Umgebungsbild angeben;eine Positionserfassungsvorrichtung (12), welche derart konfiguriert ist, dass diese eine Position des betreffenden Fahrzeugs (1) erfasst;einen Kartenspeicher (14), welcher derart konfiguriert ist, dass dieser Karteninformationen einschließlich einer Mehrzahl von Koordinatenpunkten darin speichert, welche jeweils dreidimensionale Koordinaten von jeweils einem aus einer Mehrzahl von Punkten auf einer Straße angeben; undeine Berechnungsvorrichtung (161, 162), welche derart konfiguriert ist, dass diese dem Objekt von Interesse einen oder mehrere Koordinatenpunkte aus der Mehrzahl von Koordinatenpunkten basierend auf den ersten Bildkoordinaten und der Position des betreffenden Fahrzeugs (1) zuordnet, und derart konfiguriert ist, dass diese basierend auf der Position des betreffenden Fahrzeugs (1) und dem einen oder den mehreren zugeordneten Koordinatenpunkten eine Position des Objekts von Interesse in einem realen Raum und/oder einen Abstand ausgehend von dem betreffenden Fahrzeug (1) hin zu dem Objekt von Interesse berechnet,wobei die Berechnungsvorrichtung (161, 162) derart konfiguriert ist, dass diese den einen oder die mehreren zugeordneten Koordinatenpunkte in Bildkoordinaten des Umgebungsbilds umwandelt, und derart konfiguriert ist, dass diese aus dreidimensionalen Koordinaten, welche durch einen Koordinatenpunkt angegeben sind, der zu Bildkoordinaten umgewandelt ist, die am nächsten an den ersten Bildkoordinaten liegen, die Position des Objekts von Interesse in dem realen Raum und/oder den Abstand ausgehend von dem betreffenden Fahrzeug (1) hin zu dem Objekt von Interesse berechnet.

Description

Hintergrund
1. Technisches Gebiet
Ausführungsformen der vorliegenden Offenbarung betreffen eine Objekterfassungsvorrichtung, und diese betreffen insbesondere eine Objekterfassungsvorrichtung, welche derart konfiguriert ist, dass diese eine Position eines erfassten Objekts spezifiziert.
2. Beschreibung des zugehörigen Stands der Technik
Für diesen Typ an Vorrichtung ist beispielsweise eine Vorrichtung vorgeschlagen, welche derart konfiguriert ist, dass diese ein Objekt basierend auf Informationen über eine Position einschließlich eines Abstands zu dem Objekt durch Analysieren eines Paares von Bildern, welche durch eine Stereokamera fotografiert oder aufgenommen werden, erfasst. Die Vorrichtung ist derart konfiguriert, dass diese (i) ein Abstandsbild aus dem Bildpaar bildet und die Informationen über die Position einschließlich Informationen über einen Abstand in einem realen Raum eines Objekts in der Umgebung erfasst, (ii) ein Histogramm für jeden aus einer Mehrzahl von Teilräumen schafft, welche sich in einer vertikalen Richtung in dem realen Raum erstrecken, (iii) die Informationen über den Abstand des Objekts mit einem Histogramm gemäß einem Teilraum, zu welchem die Informationen über die Position des Objekts gehören, abstimmt, und (iv) repräsentative Abstände von Teilräumen basierend auf Abstimmungsergebnissen berechnet und das Objekt durch Gruppieren der berechneten repräsentativen Abständen erfasst (Bezug auf die japanische Patentveröffentlichung mit der Nummer JP 2009-176091 A ).
Es ist ebenso eine Vorrichtung vorgeschlagen, welche derart konfiguriert ist, dass diese (i) aus einem Bild virtuelle Koordinaten eines Wegpunkts auf dem Bild bestimmt, das durch Fotografieren oder Aufnehmen eines Fahrbereichs eines Fahrzeugs mit einer auf einem Flugfahrzeug bzw. fahrenden Fahrzeug montierten Kamera erhalten wird, und (ii) den Untergrund mit einem Laserlicht von einer auf dem fahrenden Fahrzeug montierten Laserstrahlvorrichtung bestrahlt und einen realen Bestrahlungspunkt des Laserlichts, wenn Bestrahlungspunktkoordinaten des Laserlichts auf dem Bild mit den virtuellen Koordinaten übereinstimmen, auf reale Positionskoordinaten des Wegpunkts einstellt (Bezug auf die japanische Patentveröffentlichung mit der Nummer JP 2017-016395 A ).
Wie im Falle der in der JP 2009-176091 A beschriebenen Technologie erfordert eine Technologie, bei welcher das Objekt beispielsweise unter Verwendung der Stereokamera erfasst wird, einen relativ großen Berechnungsbetrag in Zusammenhang mit einer Parallaxenberechnung. Zusätzlich ist beispielsweise die Kalibrierung der Stereokamera als ein vorheriger Schritt notwendig, um die Parallaxenberechnung exakt durchzuführen. Mit anderen Worten, die in der JP 2009-176091 A beschriebene Technologie bedingt eine relativ hohe Verarbeitungslast in Zusammenhang mit der Erfassung des Objekts.
Darüber hinaus offenbart die US 2013/0 030 697 A1 ein Verfahren zum Berechnen eines Orts eines ersten Fahrzeugs, wobei das Verfahren die Schritte umfasst: Erfassen, aus der Perspektive des ersten Fahrzeugs, einer Bewegung eines zweiten Fahrzeugs relativ zu dem ersten Fahrzeug; Bestimmen, für die Zeit der relativen Bewegung, eines Orts des zweiten Fahrzeugs auf der Grundlage der erfassten relativen Bewegung durch Abgleichen der erfassten Bewegung des zweiten Fahrzeugs gegen Kartendaten; Messen, für die Zeit der relativen Bewegung, einer Distanz zwischen dem ersten und zweiten Fahrzeug; und Berechnen des Orts des ersten Fahrzeugs auf der Grundlage der gemessenen Distanz und des bestimmten Orts des zweiten Fahrzeugs.
Die DE 10 2008 007 347 A1 offenbart zudem ein Verfahren zum Bestimmen der Position eines anderen Verkehrsteilnehmers mit den Schritten: Bestimmen der Position eines Verkehrsteilnehmers mittels einer Positionserfassungseinrichtung; Schätzen eines Abstands des Verkehrsteilnehmers zu dem anderen Verkehrsteilnehmer mittels eines Abstandssensors und Bestimmen der Position des anderen Verkehrsteilnehmers, basierend auf der bestimmten Position des Verkehrsteilnehmers, dem geschätzten Abstand und einer Straßenkarte, wobei der andere Verkehrsteilnehmer als auf einem durch die Straßenkarte vorgegebenen Straßenbereich befindlich angenommen wird.
Kurzfassung
Mit Blick auf das vorstehende Problem ist es daher eine Aufgabe von Ausführungsformen der vorliegenden Erfindung, eine Objekterfassungsvorrichtung bereitzustellen, welche derart konfiguriert ist, dass diese ein Objekt erfasst, während eine Verarbeitungslast reduziert wird.
Die vorstehende Aufgabe wird durch die Gegenstände der Ansprüche 1 und 3 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der sich daran anschließenden abhängigen Ansprüche.
Gemäß einem erläuternden Aspekt der vorliegenden Offenbarung ist eine Objekterfassungsvorrichtung bereitgestellt, welche mit Folgendem vorgesehen ist: einer Bildgebungsvorrichtung, welche derart konfiguriert ist, dass diese eine Umgebung eines betreffenden Fahrzeugs abbildet und ein Umgebungsbild erhält; einer Erfassungsvorrichtung für ein Objekt von Interesse, welche derart konfiguriert ist, dass diese ein Objekt von Interesse aus dem Umgebungsbild erfasst und erste Bildkoordinaten ausgibt, welche eine Position des erfassten Objekts von Interesse auf dem Umgebungsbild angeben; einer Positionserfassungsvorrichtung, welche derart konfiguriert ist, dass diese eine Position des betreffenden Fahrzeugs erfasst; einem Kartenspeicher, welcher derart konfiguriert ist, dass dieser Karteninformationen einschließlich einer Mehrzahl von Koordinatenpunkten darin speichert, welche jeweils dreidimensionale Koordinaten von jeweils einem aus einer Mehrzahl von Punkten auf einer Straße angeben; und einer Berechnungsvorrichtung, welche derart konfiguriert ist, dass diese dem Objekt von Interesse einen oder mehrere Koordinatenpunkte aus der Mehrzahl von Koordinatenpunkten basierend auf den ersten Bildkoordinaten und der Position des betreffenden Fahrzeugs zuordnet bzw. assoziiert bzw. diese in Verbindung bringt, und derart konfiguriert ist, dass diese basierend auf der Position des betreffenden Fahrzeugs und dem einen oder den mehreren zugeordneten Koordinatenpunkten eine Position des Objekts von Interesse in einem realen Raum und/oder einen Abstand ausgehend von dem betreffenden Fahrzeug hin zu dem Objekt von Interesse berechnet.
Gemäß der Objekterfassungsvorrichtung werden die Karteninformationen verwendet, wodurch ein Abstandsberechnungsvorgang lediglich unter Verwendung von Bildern, wie beispielsweise eine Parallaxenberechnung unter Verwendung eines Paares von linken und rechten Bildern, die durch eine Stereokamera fotografiert oder aufgenommen werden, nicht erforderlich ist und eine Verarbeitungslast in Zusammenhang mit der Berechnung der Position des Objekts von Interesse und des Abstands ausgehend von dem betreffenden Fahrzeug hin zu dem Objekt von Interesse reduziert werden kann. Bei der Objekterfassungsvorrichtung können die Position des Objekts von Interesse und der Abstand ausgehend von dem betreffenden Fahrzeug hin zu dem Objekt von Interesse ohne Verwendung der Stereokamera berechnet werden. Daher ist beispielsweise die Kalibrierung der Stereokamera nicht erforderlich.
Eine Mustererkennungstechnologie unter Verwendung eines Maschinenlernens, wie ein neutrales Netzwerk, kann auf ein Verfahren zum Erfassen des Objekts von Interesse aus dem Umgebungsbild angewendet werden. Die „Position des Objekts von Interesse in dem Umgebungsbild (das heißt, die ersten Bildkoordinaten)“ kann beispielsweise Bildkoordinaten entsprechen, welche einen in dem Umgebungsbild durch das Objekt von Interesse eingenommenen Bereich darstellen, oder dergleichen.
Gemäß einem weiteren erläuternden Aspekt der Objekterfassungsvorrichtung gemäß der vorliegenden Offenbarung ist die Objekterfassungsvorrichtung mit Folgendem vorgesehen: einer Schätzvorrichtung für eine optische Achse, welche derart konfiguriert ist, dass diese eine Richtung der optischen Achse der Bildgebungsvorrichtung abschätzt, wobei die Berechnungsvorrichtung derart konfiguriert ist, dass diese dem Objekt von Interesse den einen oder die mehrere Koordinatenpunkte aus der Mehrzahl von Koordinatenpunkten basierend auf der abgeschätzten Richtung der optischen Achse zuordnet bzw. diese in Verbindung bringt. Aufgrund einer solchen Konfiguration können dem Objekt von Interesse in geeigneter Art und Weise der bzw. die Koordinatenpunkte zugeordnet werden, beispielsweise auch wenn die optische Achse der Bildgebungsvorrichtung zu einer Fahrspurerstreckungsrichtung verschoben ist.
Gemäß einem weiteren erläuternden Aspekt der Objekterfassungsvorrichtung gemäß der vorliegenden Offenbarung ist die Berechnungsvorrichtung derart konfiguriert, dass diese den einen oder die mehreren zugeordneten Koordinatenpunkte in Bildkoordinaten des Umgebungsbilds umwandelt, und diese ist derart konfiguriert, dass diese aus dreidimensionalen Koordinaten, welche durch einen Koordinatenpunkt angegeben sind, der zu Bildkoordinaten umgewandelt ist, die am nächsten an den ersten Bildkoordinaten liegen, die Position des Objekts von Interesse in dem realen Raum und/oder den Abstand ausgehend von dem betreffenden Fahrzeug hin zu dem Objekt von Interesse berechnet. Alternativ ist die Berechnungsvorrichtung gemäß einem weiteren erläuternden Aspekt der Objekterfassungsvorrichtung gemäß der vorliegenden Offenbarung derart konfiguriert, dass diese dem Objekt von Interesse zwei oder mehr Koordinatenpunkte aus der Mehrzahl von Koordinatenpunkten basierend auf den ersten Bildkoordinaten und der Position des betreffenden Fahrzeugs zuordnet, und diese ist derart konfiguriert, dass diese die Position des Objekts von Interesse in dem realen Raum und/oder den Abstand ausgehend von dem betreffenden Fahrzeug hin zu dem Objekt von Interesse durch einen Mittelwert unter Verwendung von dreidimensionalen Koordinaten, welche entsprechend durch zumindest zwei Koordinatenpunkte aus den zugeordneten zwei oder mehr Koordinatenpunkten angegeben sind, berechnet.
Gemäß diesen Aspekten ist es möglich, die Position des Objekts von Interesse in dem realen Raum und den Abstand ausgehend von dem betreffenden Fahrzeug hin zu dem Objekt von Interesse relativ einfach zu berechnen. Der Koordinatenpunkt (das heißt, die Position in dem realen Raum) und die Bildkoordinaten auf dem Umgebungsbild können miteinander in Verbindung gebracht werden, falls ein externer Parameter (das heißt, Position und Stellung) und ein interner Parameter (das heißt, optischer Parameter) der Bildgebungsvorrichtung bekannt sind. Mit anderen Worten, der Koordinatenpunkt kann zu den Bildkoordinaten umgewandelt werden.
Die Eigenschaft, der Nutzwert und weitere Merkmale dieser Offenbarung werden aus der nachfolgenden, detaillierten Beschreibung unter Bezugnahme auf Ausführungsformen der Offenbarung deutlicher ersichtlich, wenn diese in Zusammenhang mit den nachstehend kurz beschriebenen beigefügten Abbildungen gelesen wird.
Kurze Beschreibung der Abbildungen

1 ist ein Blockdiagramm, welches eine Konfiguration einer Objekterfassungsvorrichtung gemäß einer Ausführungsform darstellt;
2 ist ein Flussdiagramm, welches einen Objekterfassungsvorgang gemäß der Ausführungsform darstellt; und
3A ist eine Abbildung, welche ein Konzept des Objekterfassungsvorgangs gemäß der Ausführungsform darstellt;
3B ist eine Abbildung, welche das Konzept des Objekterfassungsvorgangs gemäß der Ausführungsform darstellt; und
3C ist eine Abbildung, welche das Konzept des Objekterfassungsvorgangs gemäß der Ausführungsform darstellt.

Detaillierte Beschreibung der Ausführungsformen
Eine Objekterfassungsvorrichtung gemäß Ausführungsformen der vorliegenden Offenbarung wird unter Bezugnahme auf die 1 bis 3C erläutert.
(Konfiguration der Vorrichtung)
Eine Konfiguration einer Objekterfassungsvorrichtung gemäß einer Ausführungsform wird unter Bezugnahme auf 1 erläutert. 1 ist ein Blockdiagramm, welches die Konfiguration der Objekterfassungsvorrichtung gemäß der Ausführungsform darstellt.
In 1 ist eine Objekterfassungsvorrichtung 100 auf einem Fahrzeug 1 montiert, das einem Beispiel des „betreffenden Fahrzeugs“ gemäß Ausführungsformen der vorliegenden Offenbarung entspricht. Die Objekterfassungsvorrichtung 100 ist mit einer Bildgebungsvorrichtung 11, einer Erfassungsvorrichtung 12 für eine eigene Position, einer Erfassungsvorrichtung 13 für eine eigene Stellung, einer Kartenvorrichtung 14, einer Erfassungsvorrichtung 15 für ein Objekt von Interesse und einer Berechnungsvorrichtung 16 vorgesehen.
Die Bildgebungsvorrichtung 11 besitzt ein bildgebendes Element, wie beispielsweise einen Komplementär-Metalloxid-Halbleiter (CMOS) und eine ladungsträgergekoppelte Schaltung (CCD). Die Bildgebungsvorrichtung 11 ist derart konfiguriert, dass diese Umgebungen des Fahrzeugs 1 (was üblicherweise ein Bereich vor dem Fahrzeug 1 ist) abbildet oder fotografiert und anschließend ein Umgebungsbild erhält.
Die Erfassungsvorrichtung 12 für eine eigene Position ist derart konfiguriert, dass diese beispielsweise ein (GPS)-Signal bzw. ein Signal von einem globalen Positionierungssystem empfängt und eine Position der Objekterfassungsvorrichtung 100 erfasst (das heißt, eine Position des Fahrzeugs 1, auf welchem die Objekterfassungsvorrichtung 100 montiert ist). Die Erfassungsvorrichtung 12 für eine eigene Position kann beispielsweise die Genauigkeit der aus dem GPS-Signal erfassten Position basierend auf einer Ausgabe eines internen Sensors, wie beispielsweise eines Gyro-Sensors, verbessern. Alternativ kann die Erfassungsvorrichtung 12 für eine eigene Position beispielsweise die Genauigkeit der aus dem GPS-Signal erfassten Position beispielsweise durch Umwandeln des durch die Bildgebungsvorrichtung 11 erhaltenen Umgebungsbild zu einem Overhead-Bild und durch Erhalten einer Position mit der höchsten Korrelation zu einer als Karteninformationen gespeicherten Straßenoberflächentextur verbessern.
Die Erfassungsvorrichtung 13 für eine eigene Stellung ist derart konfiguriert, dass diese eine Stellung der Objekterfassungsvorrichtung 100, die insbesondere einer Richtung einer optischen Achse der Bildgebungsvorrichtung 11 entspricht, beispielsweise basierend auf dem Ausgang des Gyro-Sensors abschätzt.
Die Kartenvorrichtung 14 entspricht beispielsweise einer Kartendatenbank und diese ist derart konfiguriert, dass diese darin Straßenkarteninformationen speichert. Die Straßenkarteninformationen können Informationen umfassen, welche eine Straßengestalt und eine Straßenneigung angeben. Die Straßenkarteninformationen können insbesondere eine Mehrzahl von Datenpunkten umfassen, die jeweils dreidimensionale Koordinaten, wie beispielsweise den Breitengrad, den Längengrad und die Höhe, angeben, und diese können Verbindungsinformationen umfassen, die eine Straße angeben, welche die mehreren Datenpunkte verbindet. Die mehreren Datenpunkte können nicht nur einen Datenpunkt entsprechend einem Knotenpunkt, das heißt, einem Knoten, wie beispielsweise einer Kreuzung, umfassen, sondern ebenso Datenpunkte, die bei festgelegten Intervallen bzw. Abständen entlang einer Straße oder jeder Fahrspur angeordnet sind. Bei der Ausführungsform sind die mehreren Datenpunkte als „Wegpunkte“ bezeichnet.
Die Erfassungsvorrichtung 15 für ein Objekt von Interesse ist derart konfiguriert, dass diese ein Objekt von Interesse (beispielsweise ein anderes Fahrzeug, einen Fußgänger, ein Hindernis usw.) unter Verwendung einer Mustererkennung aus dem durch die Bildgebungsvorrichtung 11 erhaltenen Umgebungsbild erfasst, und diese ist derart konfiguriert, dass diese Bildkoordinaten davon (das heißt, Bildkoordinaten, welche eine Position des Objekts von Interesse auf dem Umgebungsbild angeben) ausgibt.
Die Berechnungsvorrichtung 16 ist mit einem Wegpunktprojektor 161 und einer Positions-/Abstandsschätzvorrichtung 162 als Verarbeitungsblöcke vorgesehen, die darin logisch realisiert sind, oder Verarbeitungsschaltungen, welche darin physikalisch realisiert sind, um die Position des Objekts von Interesse und/oder einen Abstand ausgehend von dem Fahrzeug 1 hin zu dem Objekt von Interesse zu berechnen.
(Objekterfassungsvorgang)
Ein Objekterfassungsvorgang, welcher durch die Objekterfassungsvorrichtung 100, wie vorstehend konfiguriert, durchgeführt wird, wird unter Bezugnahme auf ein Flussdiagramm in 2 erläutert. In der nachstehenden Erläuterung entspricht ein Beispiel des Objekts von Interesse einem anderen Fahrzeug, das vor dem Fahrzeug 1 fährt.
In 2 erhalten die Erfassungsvorrichtung 15 für ein Objekt von Interesse und die Berechnungsvorrichtung 16 das Umgebungsbild von der Bildgebungsvorrichtung 11 (Schritt S101). Die Berechnungsvorrichtung 16 erhält die Position der Objekterfassungsvorrichtung 100 (das heißt, eine eigene Position) von der Erfassungsvorrichtung 12 für eine eigene Position (Schritt S102). Die Berechnungsvorrichtung 16 erhält die Stellung der Objekterfassungsvorrichtung 100 (das heißt, eine eigene Stellung), welche die Richtung der optischen Achse der Bildgebungsvorrichtung 11 umfasst, von der Erfassungsvorrichtung 13 für eine eigene Stellung (Schritt S103). Die Schritte S101 bis S 103 können parallel oder in irgendeiner Reihenfolge durchgeführt werden.
Die Erfassungsvorrichtung 15 für ein Objekt von Interesse erfasst dann das Objekt von Interesse aus dem Umgebungsbild, und die Berechnungsvorrichtung 16 erhält die Bildkoordinaten von der Erfassungsvorrichtung 15 für ein Objekt von Interesse, welche die Position des Objekts angeben (Schritt S104). Nun wird unter Bezugnahme auf 3A bis 3C eine spezifische Erläuterung eines Verfahrens zum Erfassen eines anderen Fahrzeugs als das Objekt von Interesse angegeben, wenn ein Bild, das ein anderes Fahrzeug zeigt, das vor dem Fahrzeug 1 fährt, als das Umgebungsbild erhalten wird.
Die Erfassungsvorrichtung 15 für ein Objekt von Interesse ist derart konfiguriert, dass diese zunächst einen Suchbereich 21 auf dem Umgebungsbild einstellt, wie in 3A dargestellt ist. Der Suchbereich 21 ist gemäß dem Objekt von Interesse eingestellt. Falls das Objekt von Interesse beispielsweise einem Fahrzeug entspricht, befindet sich das Fahrzeug nicht außerhalb einer Straße, wie im Himmel. Daher kann der Suchbereich, welcher beispielsweise einen Bereich gemäß so wenig Himmel wie möglich enthält, basierend auf einem Blickwinkel und einem Installationswinkel oder dergleichen in Zusammenhang mit der Bildgebungsvorrichtung 11 eingestellt sein. Eine fehlerhafte Erfassung kann durch Beschränken des Suchbereichs auf diese Art und Weise verhindert werden.
Die Erfassungsvorrichtung 15 für ein Objekt von Interesse ist derart konfiguriert, dass diese anschließend das Objekt von Interesse unter Verwendung der Mustererkennung in dem Suchbereich 21 erfasst. Die Mustererkennung kann die existierende Technologie, wie beispielsweise ein Verfahren basierend auf einem Maschinenlernen, wie ein tiefes neutrales Netzwerk oder dergleichen, verwenden. Falls das Objekt von Interesse erfasst ist, kann die Erfassungsvorrichtung 15 für ein Objekt von Interesse einen Erfassungsrahmen 22 einstellen, der das erfasste Objekt von Interesse (welches hier einem anderen Fahrzeug entspricht) angibt (Bezug auf 3B). Die Erfassungsvorrichtung 15 für ein Objekt von Interesse ist ferner derart konfiguriert, dass diese Bildkoordinaten der Mitte einer unteren Seite des Erfassungsrahmens 22 (Bezug auf einen schwarzen Kreis 22a in 3C) als die Bildkoordinaten des Objekts von Interesse in dem Umgebungsbild ausgibt. Dies liegt daran, da dreidimensionale Koordinaten, welche durch einen Wegpunkt angegeben sind, einem Punkt auf der Straße entsprechen. Falls die Bildkoordinaten entsprechend einer Position, welche als am dichtesten an der Straße aus einem durch den Erfassungsrahmen 22 umgebenen Bereich betrachtet wird, als die Position des Objekts von Interesse eingestellt sind, ist es dann möglich, einen Fehler in Zusammenhang mit der Berechnung der Position oder dergleichen des Objekts von Interesse zu verhindern.
Nach dem Schritt S104 in 2 projiziert der Wegpunktprojektor 161 den Wegpunkt auf das Umgebungsbild (Schritt S105). Der Wegpunktprojektor 161 erhält (oder extrahiert) insbesondere einen oder eine Mehrzahl von Wegpunkten, die in den Straßenkarteninformationen enthalten sind, aus der Kartenvorrichtung 14, basierend auf der Position der Objekterfassungsvorrichtung 100. Hier kann der erhaltene Wegpunkt einem Wegpunkt gemäß einem Punkt entsprechen, der basierend auf der Position der Objekterfassungsvorrichtung 100 in dem Umgebungsbild abgeschätzt gezeigt werden soll. Der Wegpunktprojektor 161 ist derart konfiguriert, dass dieser den erhaltenen einen oder die Mehrzahl von Wegpunkten basierend auf einem externen Parameter der Bildgebungsvorrichtung 11 (beispielsweise der Position und der Richtung der optischen Achse) und einem internen Parameter der Bildgebungsvorrichtung 11 (beispielsweise einer Linsenbrennweite, einem Pixelintervall usw.) auf das Umgebungsbild projiziert; das heißt, der Wegpunktprojektor 161 ist derart konfiguriert, dass dieser den bzw. die Wegpunkte zu den Bildkoordinaten auf dem Umgebungsbild umwandelt. 3C stellt ein Beispiel des Umgebungsbilds dar, auf welchem die Wegpunkte projiziert sind. Weiße Kreise in 3C geben die Wegpunkte an.
Nach dem Schritt S105 in 2 berechnet die Positions-/Abstandsschätzvorrichtung 162 die Position des Objekts von Interesse und/oder den Abstand ausgehend von dem Fahrzeug 1 hin zu dem Objekt von Interesse basierend auf den Bildkoordinaten, welche die Position des Objekts von Interesse in dem Umgebungsbild angeben, und basierend auf dem bzw. den Wegpunkten, welche auf das Umgebungsbild projiziert sind (oder schätzt diese ab) (Schritt S106). Hier wird ein Verfahren zum Berechnen der Position oder dergleichen des Objekts von Interesse unter Bezugnahme auf 3C spezifischer erläutert.
(Erstes Verfahren)
Bei einem ersten Verfahren kann die Positions-/Abstandsschätzvorrichtung 162 einen Wegpunkt gemäß Bildkoordinaten spezifizieren, die am nächsten an den Bildkoordinaten 22a, welche die Position des Objekts von Interesse in dem Umgebungsbild angeben, liegen. In 3C ist angenommen, dass ein Wegpunkt W1 als der relevante Wegpunkt spezifiziert ist. Die Positions-/Abstandsschätzvorrichtung 162 kann dreidimensionale Koordinaten, welche durch den Wegpunkt W1 angeben sind, als eine reale Position des Objekts von Interesse einstellen. Die Positions-/Abstandsschätzvorrichtung 162 kann eine Differenz zwischen den durch den Wegpunkt W1 angegebenen dreidimensionalen Koordinaten und der Position der Erfassungsvorrichtung 100 für ein Objekt von Interesse als den Abstand ausgehend von dem Fahrzeug 1 hin zu dem Objekt von Interesse berechnen.
(Zweites Verfahren)
Bei einem zweiten Verfahren kann die Positions-/Abstandsschätzvorrichtung 162 eine Mehrzahl von Wegpunkten spezifizieren, die in dem Umgebungsbild in der Umgebung des Objekts von Interesse angeordnet sind, und diese mit dem Objekt von Interesse in Verbindung bringen bzw. assoziieren. In 3C ist angenommen, dass der Wegpunkt W1 und ein Wegpunkt W2 als Wegpunkte mit den dichtesten Pixelabständen zu den Bildkoordinaten, welche die Position des Objekts von Interesse angeben, spezifiziert sind. Die Positions-/Abstandsschätzvorrichtung 162 kann die Position des Objekts von Interesse in einem realen Raum durch einen Mittelwert von dreidimensionalen Koordinaten, welche entsprechend durch die Wegpunkte W1 und W2 angegeben sind, berechnen. Hier kann der Mittelwert beispielsweise einem gewichteten Mittelwert unter Verwendung einer Gewichtung entsprechen, welcher durch Normalisieren des Kehrwerts eines Zwischen-Pixel-Abstands zwischen den Bildkoordinaten des Objekts von Interesse und den Wegpunkten W1 und W2 definiert ist. Auf den „Mittelwert“ kann nicht nur der gewichtete Mittelwert angewendet werden, sondern ebenso verschiedene existierende Mittelwerte (Verfahren), wie ein einfacher Mittelwert und ein geometrischer Mittelwert. Die Positions-/Abstandsschätzvorrichtung 162 kann eine Differenz zwischen der berechneten realen Position des Objekts von Interesse und der Position der Objekterfassungsvorrichtung 100 als den Abstand ausgehend von dem Fahrzeug 1 hin zu dem Objekt von Interesse berechnen.
Welches der ersten und zweiten Verfahren verwendet werden soll, kann beispielsweise gemäß der Zielgenauigkeit, einem Wegpunkt-Anordnungsintervall oder dergleichen bestimmt werden. Insbesondere falls die Wegpunkte relativ dicht angeordnet sind (beispielsweise falls die Wegpunkte bei Intervallen von einigen Metern angeordnet sind), wird das erste Verfahren in wünschenswerter Art und Weise verwendet. Falls die Wegpunkte andererseits relativ lose angeordnet sind (beispielsweise falls die Wegpunkte bei Intervallen von einigen zehn Metern oder mehr angeordnet sind), wird das zweite Verfahren in wünschenswerter Art und Weise verwendet. Das erste Verfahren erfordert den Mittelwert nicht und kann daher eine Verarbeitungslast im Vergleich zu dem zweiten Verfahren reduzieren.
Falls das Objekt einem Gegenstand entspricht, der selten auf einer Fahrspur vorkommt, wie beispielsweise einem Fußgänger, kann die Positions-/Abstandsschätzvorrichtung 162 die Position des Objekts von Interesse in der folgenden Art und Weise berechnen. In 3C ist beispielsweise angenommen, dass ein Fußgänger gemäß einem Erfassungsrahmen 23 dem Objekt von Interesse entspricht. Die Positions-/Abstandsschätzvorrichtung 162 kann eine Vertikalrichtungskoordinate von Bildkoordinaten 23a der Mitte einer unteren Seite des Erfassungsrahmens 23 mit einer Vertikalrichtungskoordinate von Bildkoordinaten, mit welchen der Wegpunkt in Zusammenhang steht, vergleichen.
Im Falle des ersten Verfahrens kann die Positions-/Abstandsschätzvorrichtung 162 den Wegpunkt, welcher in eine Vertikalrichtungskoordinate umgewandelt ist, die am dichtesten an der Vertikalrichtungskoordinate der Bildkoordinaten 23a liegt, mit dem Objekt von Interesse (das heißt, dem Fußgänger) in Verbindung bringen bzw. assoziieren. Die Positions-/Abstandsschätzvorrichtung 162 kann die Position des assoziierten bzw. zugeordneten Wegpunkts verwenden, um einen Abstand ausgehend von dem Fahrzeug 1 hin zu dem assoziierten Wegpunkt zu erhalten, und diesen auf einen Näherungsabstand des Abstands zu dem Objekt von Interesse (das heißt, dem Fußgänger) einstellen. Die Positions-/Abstandsschätzvorrichtung 162 kann ferner die Position des Objekts von Interesse (das heißt, des Fußgängers) und/oder den Abstand ausgehend von dem Fahrzeug 1 hin zu dem Objekt von Interesse aus einer Differenz zwischen einer Horizontalrichtungskoordinate der Bildkoordinaten des spezifizierten Wegpunkts und einer Horizontalrichtungskoordinate der Bildkoordinaten 23a und aus dem internen Parameter der Bildgebungsvorrichtung 11 berechnen.
Alternativ kann die Positions-/Abstandsschätzvorrichtung 162 im Falle des zweiten Verfahrens die Wegpunkte W1 und W3 spezifizieren, die in der Umgebung der vertikalen Richtung der Bildkoordinaten 23a angeordnet sind, und diese mit dem Objekt von Interesse (das heißt, dem Fußgänger) assoziieren bzw. in Verbindung bringen. Die Positions-/Abstandsschätzvorrichtung 162 kann die Position des Objekts von Interesse (das heißt, des Fußgängers) und/oder den Abstand ausgehend von dem Fahrzeug 1 hin zu dem Objekt von Interesse durch einen Mittelwert von dreidimensionalen Koordinaten berechnen, die entsprechend durch die Wegpunkte W1 und W3 angegeben sind.
Falls für die Erfassung des Fußgängers als das Objekt von Interesse ein Gesichtserkennungsverfahren verwendet wird (in diesem Fall ist der Erfassungsrahmen in der Umgebung eines Kopfes eingerichtet), unterscheidet sich eine untere Seite des Erfassungsrahmens in den meisten Fällen von einem Bodenberührungspunkt. In diesem Fall wird die Position oder dergleichen des Fußgängers als das Objekt von Interesse in gewünschter Art und Weise beispielsweise berechnet, nachdem Bildkoordinaten entsprechend dem Bodenkontaktpunkt aus der Position des Erfassungsrahmens abgeschätzt sind.
Bei der Ausführungsform ist ein vor dem Fahrzeug 1 fahrendes anderes Fahrzeug beispielhaft als das Objekt dargestellt, es kann jedoch ein anderes Fahrzeug, welches hinter oder neben dem Fahrzeug 1 fährt, oder dergleichen, als das Objekt von Interesse behandelt werden.
(Technischer Effekt)
Für das Verfahren zum Erfassen der Position des Objekts von Interesse, wie beispielsweise eines anderen Fahrzeugs und eines Fußgängers, der sich in der Umgebung des betreffenden Fahrzeugs befindet, ist ein Verfahren unter Verwendung eines Sensors vorgeschlagen, welcher derart konfiguriert ist, dass dieser einen Abstand misst, wie beispielsweise ein Radar and Light Detection and Ranging (LIDAR). Dieses Verfahren hat jedoch Schwierigkeiten beim Identifizieren und Erfassen eines Objekts von Interesse und ist mit relativ hohen Kosten verbunden.
Alternativ ist ein Verfahren unter Verwendung einer Stereokamera vorgeschlagen. Dieses Verfahren erfordert jedoch einen relativ großen Berechnungsbetrag in Zusammenhang mit der Parallaxenberechnung. Zusätzlich ist die Kalibrierung der Stereokamera erforderlich. Daher ist die Verarbeitungslast bei diesem Verfahren relativ hoch.
Alternativ ist für ein Verfahren unter Verwendung einer monokularen Kamera ein Verfahren vorgeschlagen, bei welchem angenommen ist, dass eine Straße eine flache Oberfläche aufweist. Beispielsweise kann ein Abstand ausgehend von einer unteren Endposition eines fotografierten Bilds hin zu einem Objekt von Interesse auf einem Parameter in Zusammenhang mit der Kamera, wie beispielsweise einer Kameraeinbauposition, einer Richtung der optischen Achse der Kamera, einem Blickwinkel und einer Brennweite, basieren. In diesem Fall ist ein Schätzfehler jedoch relativ groß, falls auf der Straßenoberfläche eine Neigung vorhanden ist. Darüber hinaus kann bei einem anderen Verfahren unter Verwendung der monokularen Kamera der Abstand aus einer Größe des Objekts von Interesse in dem fotografierten Bild und einer tatsächlichen Größe des Objekts von Interesse abgeschätzt werden. In diesem Fall ist ein Fehler des abgeschätzten Abstands aufgrund einer Variation der tatsächlichen Größe (beispielsweise falls ein Personenkraftwagen dem Objekt von Interesse besteht, variiert eine Breite davon relativ deutlich um etwa 1,4 bis 2 Meter) relativ groß.
Im Übrigen wird das Objekt von Interesse aus dem durch die Bildgebungsvorrichtung 11 fotografierten oder aufgenommenen Umgebungsbild auf der Objekterfassungsvorrichtung 100 erfasst. Das fotografierte Umgebungsbild besitzt eine höhere räumliche Auflösung als der Sensor, welcher konfiguriert ist, um den Abstand zu messen, und kann auch in dem Fall eine detaillierte Gestaltung erhalten, wenn das Objekt relativ weit entfernt ist. Daher ist es gemäß der Objekterfassungsvorrichtung 100 möglich, das Objekt von Interesse auf wesentlich einfachere Art und Weise zu identifizieren und zu erfassen als mit dem Sensor, welcher konfiguriert ist, um den Abstand zu messen.
Zusätzlich ist die Parallaxenberechnung bei Verwendung der Stereokamera nicht erforderlich, um die Position oder dergleichen des Objekts von Interesse bei der Objekterfassungsvorrichtung 100 zu berechnen. Daher ist es gemäß der Objekterfassungsvorrichtung 100 möglich, die Verarbeitungslast im Vergleich zu dem Verfahren unter Verwendung der Stereokamera zu reduzieren. Andererseits wird der in den Straßenkarteninformationen enthaltene Wegpunkt verwendet, um die Position oder dergleichen des Objekts von Interesse bei der Objekterfassungsvorrichtung 100 zu berechnen. Daher ist es im Gegensatz zu dem vorgenannten Verfahren unter Verwendung der monokularen Kamera möglich, die Position oder dergleichen des Objekts von Interesse zu berechnen, ohne durch die Straßenoberflächenneigung beeinflusst zu werden (und darüber hinaus, auch wenn die tatsächliche Größe des Objekts von Interesse nicht bekannt ist).
Folglich ist es gemäß der Objekterfassungsvorrichtung 100 möglich, das Objekt von Interesse mit hoher Genauigkeit zu erfassen, während die Verarbeitungslast reduziert wird, und die Position oder dergleichen des Objekts von Interesse mit relativ hoher Genauigkeit zu berechnen.
Die „Erfassungsvorrichtung 12 für eine eigene Position“, die „Erfassungsvorrichtung 13 für eine eigene Stellung“ und die „Kartenvorrichtung 14“ gemäß der Ausführungsform sind entsprechend ein Beispiel der „Positionserfassungsvorrichtung“, der „Schätzvorrichtung für eine optische Achse“ und dem „Kartenspeicher“ gemäß Ausführungsformen der vorliegenden Offenbarung. Der „Wegpunktprojektor 161“ und die „Positions-/Abstandsschätzvorrichtung 162“ gemäß der Ausführungsform entsprechen einem Beispiel der „Berechnungsvorrichtung“ gemäß Ausführungsformen der vorliegenden Offenbarung.
Die Offenbarung kann in anderen spezifischen Formen ausgeführt sein, ohne von dem Grundgedanken oder den notwendigen Eigenschaften davon abzuweichen. Die vorliegenden Ausführungsformen und Beispiele sind daher in jeglicher Hinsicht als darstellend und nicht beschränkend zu betrachten, wobei der Schutzumfang der Erfindung eher durch die beigefügten Ansprüche als durch die vorstehende Beschreibung angegeben ist, und daher sollen sämtliche Änderungen in der Bedeutung und dem Äquivalenzbereich der Ansprüche darin enthalten sein.

Claims

Objekterfassungsvorrichtung (100), aufweisend: eine Bildgebungsvorrichtung (11), welche derart konfiguriert ist, dass diese eine Umgebung eines betreffenden Fahrzeugs (1) abbildet und ein Umgebungsbild erhält; eine Erfassungsvorrichtung (15) für ein Objekt von Interesse, welche derart konfiguriert ist, dass diese ein Objekt von Interesse aus dem Umgebungsbild erfasst und erste Bildkoordinaten ausgibt, welche eine Position des erfassten Objekts von Interesse auf dem Umgebungsbild angeben; eine Positionserfassungsvorrichtung (12), welche derart konfiguriert ist, dass diese eine Position des betreffenden Fahrzeugs (1) erfasst; einen Kartenspeicher (14), welcher derart konfiguriert ist, dass dieser Karteninformationen einschließlich einer Mehrzahl von Koordinatenpunkten darin speichert, welche jeweils dreidimensionale Koordinaten von jeweils einem aus einer Mehrzahl von Punkten auf einer Straße angeben; und eine Berechnungsvorrichtung (161, 162), welche derart konfiguriert ist, dass diese dem Objekt von Interesse einen oder mehrere Koordinatenpunkte aus der Mehrzahl von Koordinatenpunkten basierend auf den ersten Bildkoordinaten und der Position des betreffenden Fahrzeugs (1) zuordnet, und derart konfiguriert ist, dass diese basierend auf der Position des betreffenden Fahrzeugs (1) und dem einen oder den mehreren zugeordneten Koordinatenpunkten eine Position des Objekts von Interesse in einem realen Raum und/oder einen Abstand ausgehend von dem betreffenden Fahrzeug (1) hin zu dem Objekt von Interesse berechnet, wobei die Berechnungsvorrichtung (161, 162) derart konfiguriert ist, dass diese den einen oder die mehreren zugeordneten Koordinatenpunkte in Bildkoordinaten des Umgebungsbilds umwandelt, und derart konfiguriert ist, dass diese aus dreidimensionalen Koordinaten, welche durch einen Koordinatenpunkt angegeben sind, der zu Bildkoordinaten umgewandelt ist, die am nächsten an den ersten Bildkoordinaten liegen, die Position des Objekts von Interesse in dem realen Raum und/oder den Abstand ausgehend von dem betreffenden Fahrzeug (1) hin zu dem Objekt von Interesse berechnet.
Objekterfassungsvorrichtung (100) nach Anspruch 1, aufweisend: eine Schätzvorrichtung (13) für eine optische Achse, welche derart konfiguriert ist, dass diese eine Richtung der optischen Achse der Bildgebungsvorrichtung abschätzt, wobei die Berechnungsvorrichtung (161, 162) derart konfiguriert ist, dass diese dem Objekt von Interesse den einen oder die mehrere Koordinatenpunkte aus der Mehrzahl von Koordinatenpunkten basierend auf der abgeschätzten Richtung der optischen Achse zuordnet.
Objekterfassungsvorrichtung (100), aufweisend: eine Bildgebungsvorrichtung (11), welche derart konfiguriert ist, dass diese eine Umgebung eines betreffenden Fahrzeugs (1) abbildet und ein Umgebungsbild erhält; eine Erfassungsvorrichtung (15) für ein Objekt von Interesse, welche derart konfiguriert ist, dass diese ein Objekt von Interesse aus dem Umgebungsbild erfasst und erste Bildkoordinaten ausgibt, welche eine Position des erfassten Objekts von Interesse auf dem Umgebungsbild angeben; eine Positionserfassungsvorrichtung (12), welche derart konfiguriert ist, dass diese eine Position des betreffenden Fahrzeugs (1) erfasst; einen Kartenspeicher (14), welcher derart konfiguriert ist, dass dieser Karteninformationen einschließlich einer Mehrzahl von Koordinatenpunkten darin speichert, welche jeweils dreidimensionale Koordinaten von jeweils einem aus einer Mehrzahl von Punkten auf einer Straße angeben; und eine Berechnungsvorrichtung (161, 162), welche derart konfiguriert ist, dass diese dem Objekt von Interesse einen oder mehrere Koordinatenpunkte aus der Mehrzahl von Koordinatenpunkten basierend auf den ersten Bildkoordinaten und der Position des betreffenden Fahrzeugs (1) zuordnet, und derart konfiguriert ist, dass diese basierend auf der Position des betreffenden Fahrzeugs (1) und dem einen oder den mehreren zugeordneten Koordinatenpunkten eine Position des Objekts von Interesse in einem realen Raum und/oder einen Abstand ausgehend von dem betreffenden Fahrzeug (1) hin zu dem Objekt von Interesse berechnet, wobei die Berechnungsvorrichtung (161, 162) derart konfiguriert ist, dass diese: dem Objekt von Interesse zwei oder mehr Koordinatenpunkte aus der Mehrzahl von Koordinatenpunkten basierend auf den ersten Bildkoordinaten und der Position des betreffenden Fahrzeugs (1) zuordnet, und die Position des Objekts von Interesse in dem realen Raum und/oder den Abstand ausgehend von dem betreffenden Fahrzeug (1) hin zu dem Objekt von Interesse durch einen Mittelwert unter Verwendung von dreidimensionalen Koordinaten, welche entsprechend durch zumindest zwei Koordinatenpunkte aus den zugeordneten zwei oder mehr Koordinatenpunkten angegeben sind, berechnet.
Objekterfassungsvorrichtung (100) nach Anspruch 3, aufweisend: eine Schätzvorrichtung (13) für eine optische Achse, welche derart konfiguriert ist, dass diese eine Richtung der optischen Achse der Bildgebungsvorrichtung abschätzt, wobei die Berechnungsvorrichtung (161, 162) derart konfiguriert ist, dass diese dem Objekt von Interesse den einen oder die mehrere Koordinatenpunkte aus der Mehrzahl von Koordinatenpunkten basierend auf der abgeschätzten Richtung der optischen Achse zuordnet.