DE102015121387A1

DE102015121387A1 - Hinderniserkennungseinrichtung und Hinderniserkennungsverfahren

Info

Publication number: DE102015121387A1
Application number: DE102015121387.7A
Authority: DE
Inventors: Sung Jin SEO; Jong Hwan Kim; Joon Bum CHO
Original assignee: Hyundai Mobis Co Ltd
Current assignee: Hyundai Mobis Co Ltd
Priority date: 2014-12-22
Filing date: 2015-12-09
Publication date: 2016-06-23
Anticipated expiration: 2035-12-10
Also published as: CN105718853A; JP6291469B2; JP2016119085A; US20160180181A1; US9665782B2; CN105718853B; KR101676656B1; KR20160076271A; DE102015121387B4

Abstract

Die vorliegende Erfindung betrifft eine Hinderniserkennungseinrichtung und ein Hinderniserkennungsverfahren, und eine beispielhafte Ausführungsform der vorliegenden Erfindung stellt eine Hinderniserkennungseinrichtung bereit, einschließend: eine Stereokamera, die eine Vorderseite eines Fahrzeugs aufnimmt, um ein linkes Bild und ein rechtes Bild zu erzeugen; eine Bildabgleicheinheit, die einen Blockabgleichalgorithmus auf das linke Bild und das rechte Bild anwendet, um eine Mehrzahl von Merkmalspunkten zu extrahieren, die eine Ähnlichkeit besitzen, die gleich oder größer als ein Referenzwert ist, und Koordinaten und eine Tiefe der Mehrzahl von extrahierten Merkmalspunkten zu berechnen; eine Ebenenberechnungseinheit, die jeweils drei Merkmalspunkte der Mehrzahl von Merkmalspunkten verbindet, um auf der Grundlage der Koordinaten und der Tiefe der Mehrzahl von Merkmalspunkten eine Mehrzahl von Dreiecken zu berechnen; eine Normalenberechnungseinheit, die auf der Grundlage der Koordinaten und der Tiefe von drei Merkmalspunkten, die Knoten der Mehrzahl von Dreiecken entsprechen, Richtungen von Normalen der Mehrzahl von Dreiecken berechnet; und eine Hinderniserkennungseinheit, die auf der Grundlage eines Ergebnisses eines Vergleichens einer Aufhamerichtung der Stereokamera mit den Normalenrichtungen der Mehrzahl von Dreiecken ein Hindernis vor dem Fahrzeug erkennt.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Die vorliegende Anmeldung beansprucht die Priorität der am 22. Dezember 2014 eingereichten Koreanischen Patentanmeldung Nummer 10-2014-0186267 , deren gesamter Inhalt durch Inbezugnahme für alle Zwecke hierin aufgenommen wird.
TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine Hinderniserkennungseinrichtung und genauer eine Hinderniserkennungseinrichtung und ein Hinderniserkennungsverfahren, die einen Merkmalspunkt in einem Fahrzeugvorderseitenbild festlegen, das durch eine Stereokamera ausgegeben wird, um eine Ebene desselben Raums zu berechnen und benachbarte Ebenen hinzuzufügen, indem eine Normale berechnet wird, und ein Hindernis in einer Normalenrichtung zu erkennen.
HINTERGRUND
In jüngster Zeit wird eine Technologie, die ein Objekt vor einem Fahrzeug erkennt, um das Fahrzeug gemäß dem Objekt zu steuern, auf viele Fahrzeuge angewandt. Speziell hat die Verwendung einer Technologie allmählich zugenommen, die ein Objekt nahe dem Fahrzeug unter Verwendung einer Stereokamera erkennt.
Eine Objekterkennungsvorrichtung nach dem Stand der Technik, die eine Stereokamera verwendet, weist aufgrund eines komplexen Algorithmus ein Problem auf, ein Bild nahe einem Fahrzeug zu verarbeiten, das in Echtzeit verarbeitet werden muss. Eine Technologie zum Erkennen eines Objekts nahe dem Fahrzeug ist direkt mit der Sicherheit eines Fahrers, eines Fußgängers und eines Fahrers eines anderen Fahrzeugs verbunden. In jüngster Zeit wird eine Technologie untersucht, die ein Bild, das in einem Fahrzeug aufgenommen wird, um ein Hindernis nahe des Fahrzeugs zu erkennen, schnell verarbeitet.
ZUSAMMENFASSUNG
Die vorliegende Erfindung erfolgte in der Bemühung, eine Hinderniserkennungseinrichtung bereitzustellen, die einen Merkmalspunkt aus einem Fahrzeugvorderseitenbild erkennt, das durch eine Stereokamera erzeugt wird, und ein Hindernis vor dem Fahrzeug auf der Grundlage einer Normalenrichtung eines Dreiecks erkennt, das durch Verbinden der erkannten Merkmalspunkte gebildet wird.
Aufgaben der vorliegenden Erfindung sind nicht auf die vorgenannten Aufgaben beschränkt, und andere vorstehend nicht erwähnte Aufgaben kann der Fachmann anhand der folgenden Beschreibungen klar erkennen.
Eine beispielhafte Ausführungsform der vorliegenden Erfindung stellt eine Hinderniserkennungseinrichtung bereit, einschließend: eine Stereokamera, die eine Vorderseite eines Fahrzeugs aufnimmt, um ein linkes Bild und ein rechtes Bild zu erzeugen; eine Bildabgleicheinheit, die einen Blockabgleichalgorithmus auf das linke Bild und das rechte Bild anwendet, um eine Mehrzahl von Merkmalspunkten zu extrahieren, die eine Ähnlichkeit besitzen, die gleich oder größer als ein Referenzwert ist, und Koordinaten und eine Tiefe der Mehrzahl von extrahierten Merkmalspunkten zu berechnen; eine Ebenenberechnungseinheit, die jeweils drei Merkmalspunkte der Mehrzahl von Merkmalspunkten verbindet, um auf der Grundlage der Koordinaten und der Tiefe der Mehrzahl von Merkmalspunkten eine Mehrzahl von Dreiecken zu berechnen; eine Normalenberechnungseinheit, die auf der Grundlage der Koordinaten und der Tiefe von drei Merkmalspunkten, die Knoten der Mehrzahl von Dreiecken entsprechen, Richtungen von Normalen der Mehrzahl von Dreiecken berechnet; und eine Hinderniserkennungseinheit, die auf der Grundlage eines Ergebnisses eines Vergleichens einer Aufnahmerichtung der Stereokamera mit den Normalenrichtungen der Mehrzahl von Dreiecken ein Hindernis vor dem Fahrzeug erkennt.
Die Bildabgleicheinheit kann eine Region, in der eine Helligkeitsänderung gleich oder größer als ein vorbestimmter Wert ist, im linken Bild und im rechten Bild unter Verwendung der Randerkennung berechnen, und der Blockabgleichalgorithmus kann auf die Region angewandt werden, in der die Helligkeitsänderung gleich oder größer als der vorbestimmte Wert ist, um die Mehrzahl von Merkmalspunkten zu extrahieren.
Die Ebenenberechnungseinheit kann die Mehrzahl von Dreiecken unter Verwendung von Delaunay-Triangulation berechnen.
Die Normalenberechnungseinheit kann eine Richtung einer Normalen berechnen, die durch einen Schwerpunkt der Mehrzahl von Dreiecken verläuft.
Wenn eine Abweichung von Normalenrichtungen von zwei Dreiecken, die sich eine Ecke teilen, unter der Mehrzahl von Dreiecken kleiner als ein vorbestimmter erster Schwellenwert ist, kann die Normalenberechnungseinheit Normalenrichtungen von zwei Dreiecken auf denselben Wert festlegen.
Wenn sich unter der Mehrzahl von Dreiecken das erste Dreieck und das zweite Dreieck eine Ecke teilen und eine Abweichung zwischen einer ersten Richtung, die eine Normalenrichtung eines ersten Dreiecks ist, und einer zweiten Richtung, die eine Normalenrichtung eines zweiten Dreiecks ist, kleiner als ein vorbestimmter erster Schwellenwert ist, kann die Normalenberechnungseinheit die Normale des ersten Dreiecks und des zweiten Dreiecks so festlegen, dass sie der ersten Richtung, der zweiten Richtung und einer Zwischenrichtung der ersten Richtung und der zweiten Richtung aufweist.
Die Hinderniserkennungseinheit kann ein Dreieck, das eine Normalenrichtung aufweist, die eine Abweichung von der Aufnahmerichtung der Stereokamera besitzt, die kleiner ist als der vorbestimmte zweite Schwellenwert, unter der Mehrzahl von Dreiecken als ein Hindernis erkennen.
Die Hinderniserkennungseinheit kann ein Dreieck, das eine Normalenrichtung aufweist, die eine Abweichung von der Aufnahmerichtung der Stereokamera besitzt, die gleich oder größer ist als der vorbestimmte zweite Schwellenwert, unter der Mehrzahl von Dreiecken als eine Straßenoberfläche erkennen.
Die Einrichtung kann ferner eine Warneinheit einschließen, die Informationen zum Hindernis oder eine Warnmeldung ausgibt, wenn durch die Hinderniserkennungseinheit ein Hindernis vor dem Fahrzeug erkannt wird.
Ein weiteres Ausführungsbeispiel der vorliegenden Erfindung stellt ein Hinderniserkennungsverfahren bereit, einschließend: Erzeugen eines linken Bildes und eines rechten Bildes in Hinblick auf eine Vorderseite eines Fahrzeuges unter Verwendung einer Stereokamera; Extrahieren einer Mehrzahl von Merkmalspunkten mit einer Ähnlichkeit, die gleich oder größer als ein Referenzwert ist, indem ein Blockabgleichalgorithmus auf das linke Bild und auf das rechte Bild angewandt wird; Berechnen von Koordinaten und einer Tiefe der Mehrzahl von extrahierten Merkmalspunkten; Verbinden von jeweils drei Merkmalspunkten der Mehrzahl von Merkmalspunkten, um auf der Grundlage der Koordinaten und der Tiefe der Mehrzahl von Merkmalspunkten eine Mehrzahl von Dreiecken zu berechnen; Berechnen von Richtungen von Normalen der Mehrzahl von Dreiecken auf der Grundlage der Koordinaten und der Tiefe von drei Merkmalspunkten, die Knoten der Mehrzahl von Dreiecken entsprechen; und Erkennen eines Hindernisses vor dem Fahrzeug auf der Grundlage eines Ergebnisses eines Vergleichens einer Aufnahmerichtung der Stereokamera mit den Normalenrichtungen der Mehrzahl von Dreiecken.
Das Extrahieren einer Mehrzahl von Merkmalspunkten kann einschließen: Berechnen einer Region, in der eine Helligkeitsänderung gleich oder größer als ein vorbestimmter Wert ist, im linken Bild und im rechten Bild unter Verwendung der Randerkennung; und Anwenden des Blockabgleichalgorithmus auf die Region, in der die Helligkeitsänderung gleich oder größer als der vorbestimmte Wert ist, um die Mehrzahl von Merkmalspunkten zu extrahieren.
Wenn beim Berechnen von Normalenrichtungen der Mehrzahl von Dreiecken eine Abweichung von Richtungen der Normalen von zwei Dreiecken, die sich eine Ecke teilen, unter der Mehrzahl von Dreiecken kleiner ist als ein vorbestimmter erster Schwellenwert, werden die Normalenrichtungen von zwei Dreiecken auf denselben Wert festgelegt.
Beim Erkennen eines Hindernisses vor dem Fahrzeug wird ein Dreieck, das eine Normalenrichtung aufweist, die eine Abweichung von der Aufnahmerichtung der Stereokamera besitzt, die kleiner ist als der vorbestimmte zweite Schwellenwert, unter der Mehrzahl von Dreiecken als ein Hindernis erkannt.
Das Verfahren kann ferner ein Ausgeben von Informationen zum Hindernis oder einer Warnmeldung einschließen, wenn ein Hindernis vor dem Fahrzeug erkannt wird.
Beim Erkennen eines Hindernisses wird ein Dreieck, das eine Normalenrichtung aufweist, die eine Abweichung von der Aufnahmerichtung der Stereokamera besitzt, die gleich oder größer ist als der vorbestimmte Wert, unter der Mehrzahl von Dreiecken als eine Straßenoberfläche erkannt.
Weitere ausführliche Gegenstände der Ausführungsformen sind in der ausführlichen Beschreibung und den Zeichnungen eingeschlossen.
Gemäß der beispielhaften Ausführungsform der Hinderniserkennungseinrichtung gibt es einen oder mehrere Vorteile wie folgt.
Erstens werden nur Tiefen von Merkmalspunkten berechnet, die in vorbestimmten Regionen eingeschlossen sind, die hohe Ähnlichkeiten besitzen, anstelle einer gesamten Region eines linken Bildes und eines rechten Bildes, die durch eine Stereokamera erzeugt werden, wodurch ein Bearbeitungsumfang verringert wird, der erforderlich ist, um das Hindernis aus dem Bild zu erkennen.
Ob ein Hindernis vorhanden ist, wird zweitens auf der Grundlage einer Normalenrichtung eines Dreiecks erkannt, das unter Verwendung von drei Merkmalspunkten als Knoten gebildet wird, sodass ein Tiefenabschätzungsprozess weggelassen wird, wodurch eine Hinderniserkennungsgeschwindigkeit verbessert wird.
Drittens wird ein Hindernis nur aus einem Teil eines linken Bildes und eines rechten Bildes erkannt, die durch eine Stereokamera erzeugt werden, sodass selbst wenn eine billige Komponente verwendet wird, deren Bildverarbeitungsgeschwindigkeit relativ niedrig ist, ein vorbestimmtes oder höheres Maß einer Hinderniserkennungsleistung sichergestellt werden kann.
Die Wirkungen der vorliegenden Erfindung sind nicht auf die vorgenannten Wirkungen beschränkt, und andere Wirkungen, welche vorstehend nicht erwähnt sind, werden durch den Fachmann aus den Wiedergaben der Ansprüche klar erkannt werden.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 zeigt ein Diagramm, das eine Konfiguration einer Hinderniserkennungseinrichtung gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung veranschaulicht.
2 veranschaulicht gemäß einer beispielhaften Ausführungsform ein Ergebnis eines Berechnens eines Normalenvektors an einem beliebigen Punkt durch eine Normalenberechnungseinheit.
3 veranschaulicht gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung ein Beispiel, das ein Hindernis aus einen Bild erkennt, das unter Verwendung einer Stereokamera aufgenommen wurde.
4 veranschaulicht gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung ein Beispiel eines Ermittelns, ob es sich um ein Hindernis handelt, auf der Grundlage einer Normalenrichtung eines Dreiecks.
5 zeigt einen Ablaufplan eines Hinderniserkennungsverfahrens gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung.
AUSFÜHRLICHE BESCHREIBUNG
Vorteile und Charakteristika der vorliegenden Erfindung und eines Verfahrens zum Erreichen der Vorteile und Charakteristika werden unter Bezugnahme auf beispielhafte Ausführungsformen, welche nachstehend gemeinsam mit den begleitenden Zeichnungen ausführlich beschrieben werden, deutlich. Die vorliegende Erfindung ist jedoch nicht auf hierin offenbarte beispielhafte Ausführungsformen beschränkt, sondern wird in vielfältigen unterschiedlichen Formen implementiert werden. Die beispielhaften Ausführungsformen werden nur in beispielhafter Weise bereitgestellt, sodass der Fachmann die Offenbarungen der vorliegenden Erfindung und den Umfang der vorliegenden Erfindung vollständig verstehen kann. Daher wird die vorliegende Erfindung nur durch den Umfang der angehängten Ansprüche definiert. Gleiche Bezugsziffern geben innerhalb der Beschreibung gleiche Elemente an.
Hierin wird die vorliegende Erfindung unter Bezugnahme auf die Zeichnungen zum Erklären einer Hinderniserkennungseinrichtung gemäß einer Ausführungsform der vorliegenden Erfindung beschrieben.
1 zeigt ein Diagramm, das eine Konfiguration einer Hinderniserkennungseinrichtung gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung veranschaulicht. Eine Hinderniserkennungseinrichtung gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung schließt eine Stereokamera 100, eine Bildabgleicheinheit 200, eine Ebenenberechnungseinheit 300, eine Normalenberechnungseinheit 400 und eine Hinderniserkennungseinheit 500 ein.
Zuerst nimmt die Stereokamera 100 eine Vorderseite des Fahrzeugs auf, um ein linkes Bild und ein rechtes Bild zu erzeugen. Speziell ist die Stereokamera 100 in einer Position (zum Beispiel einer Oberseite einer Windschutzscheibe oder einer Motorhaube) des Fahrzeugs montiert, um eine Vorderseite des Fahrzeugs aufzunehmen, die einer vorbestimmten Aufnahmerichtung entspricht, um ein linkes Bild und ein rechtes Bild zu erzeugen und das erzeugte linke Bild und rechte Bild an die Bildabgleicheinheit 200 auszugeben. Zum Beispiel kann die Stereokamera 100 das linke Bild durch eine linke Linse der Stereokamera 100 aufgenommen und das rechte Bild durch eine rechte Linse der Stereokamera 100 aufgenommen erzeugen. In diesem Fall kann die Aufnahmerichtung der Stereokamera 100 im Voraus so festgelegt werden, dass sie einer Fahrtrichtung des Fahrzeugs entspricht, wenn das Fahrzeug geradeaus fährt.
In diesem Fall können sich das linke Bild und das rechte Bild auf Bilder beziehen, die mit fortlaufender Zeit sequenziell erzeugt werden. Zum Beispiel können sich ein linkes Bild und ein rechtes Bild zu einem ersten Zeitpunkt von einem linken Bild und einem rechten Bild zu einem zweiten Zeitpunkt unterscheiden.
Die Bildabgleicheinheit 200 extrahiert eine Mehrzahl von Merkmalspunkten, die im linken Bild und im rechten Bild eingeschlossen sind. In diesem Fall kann die Mehrzahl von Merkmalspunkten drei oder mehr Merkmalspunkte betragen, um mindestens eine Ebene zu berechnen. Speziell wendet die Bildabgleicheinheit 200 einen Blockabgleichalgorithmus auf das linke Bild und das rechte Bild an, um eine Mehrzahl von Merkmalspunkten mit einer Ähnlichkeit zu extrahieren, die gleich oder größer als eine Referenzwert ist. Hier kann jeder Merkmalspunkt einem einzigen Pixel entsprechen. Zum Beispiel kann die Bildabgleicheinheit 200 aus dem linken und dem rechten Bild Pixel als Merkmalspunkte extrahieren, die in einem Block eingeschlossen sind, der eine Summe absoluter Abweichungen (sum of absolute differences (SAD)) oder eine Summe quadratischer Abweichungen (sum of squared differences (SSD)) aufweist, die kleiner ist als ein vorbestimmter Wert. Das heißt, bei einem Pixel in dem linken Bild und dem rechten Bild, das in einem Block mit der Summe absoluter Abweichungen (SAD) oder einer Summe quadratischer Abweichungen (SSD) eingeschlossen ist, die kleiner als ein vorbestimmter Wert ist, kann es sich um ein Pixel unter den gesamten im linken und im rechten Bild eingeschlossenen Pixeln mit einer Ähnlichkeit handeln, die gleich oder größer als ein Referenzwert ist.
Die Bildabgleicheinheit 200 kann Koordinaten und eine Tiefe der Mehrzahl von Merkmalspunkten berechnen. Da somit bekannt ist, dass die Tiefe jedes der Merkmalspunkte auf der Grundlage einer Disparität zwischen dem linken Bild und dem rechten Bild berechnet wird, wird auf eine ausführliche Beschreibung davon verzichtet.
Die Bildabgleicheinheit 200 kann eine Verzerrung zwischen dem linken Bild und dem rechten Bild kalibrieren.
Die Bildabgleicheinheit 200 kann eine Verzerrung eines Bildes korrigieren, die auftreten kann, wenn es sich bei der linken Linse und der rechten Linse der Stereokamera 100 um Weitwinkellinsen handelt.
Die Bildabgleicheinheit 200 kann eine Kissenverzerrung korrigieren, die im linken Bild und im rechten Bild gebildet wird.
Die Bildabgleicheinheit 200 kann eine Tonnenverzerrung korrigieren, die im linken Bild und im rechten Bild gebildet wird.
Die Bildabgleicheinheit 200 kann eine radiale Verzerrung korrigieren, die im linken Bild und im rechten Bild gebildet wird.
Die Bildabgleicheinheit 200 kann eine tangentiale Verzerrung korrigieren, die im linken Bild und im rechten Bild gebildet wird.
Die Bildabgleicheinheit 200 kann eine Berichtigung der Verzerrung im linken Bild und im rechten Bild durchführen.
Die Bildabgleicheinheit 200 kann das linke Bild und das rechte Bild überlagern, um ein stereoskopisches Bild zu erzeugen, das einem Punkt auf einer Abtastlinie entspricht.
Die Bildabgleicheinheit 200 legt ein Pixel, das dem linken Bild und dem rechten Bild gemeinsam ist, als einen Merkmalspunkt fest und berechnet einen Abstand zwischen den Merkmalspunkten.
Die Bildabgleicheinheit 200 kann eine Tiefe eines Randes berechnen, bei dem es sich um eine Region des linken Bildes und des rechten Bildes handelt, in der eine Helligkeitsänderung erzeugt wird, die gleich oder größer als ein vorbestimmter Wert ist. Da zum Beispiel eine Mehrzahl von Pixeln im Rand eingeschlossen sein kann, kann die Bildabgleicheinheit 200 Tiefen der Merkmalspunkte in Hinblick auf den Rand als einen Satz berechnen.
Die Bildabgleicheinheit 200 kann einen entsprechenden Punkt aus dem linken Bild und dem rechten Bild suchen, um einen Triangulationspunkt zu berechnen.
Die Bildabgleicheinheit 200 kann eine räumliche Positionstransformation neu angeordneter Pixel des linken Bildes und des rechten Bildes berechnen, die mit fortlaufender Zeit sequenziell eingegeben werden.
Die Bildabgleicheinheit 200 kann eine Bildrotationsverschiebung eines Pixels berechnen, das in dem linken Bild und dem rechten Bild neu angeordnet wird.
Die Bildabgleicheinheit 200 kann ein Durchschnittsbild mit einem Durchschnittsinformationswert (zum Beispiel eine Helligkeit, Farbe, Tiefe) in denn linken Bild und dem rechten Bild berechnen.
Die Bildabgleicheinheit 200 kann Informationen zu einer Beleuchtungskomponente berechnen, die für ein Licht und Schatten im linken Bild und im rechten Bild steht. In diesem Fall sammelt die Bildabgleicheinheit 200 berechnete Informationen zur Beleuchtungskomponente und Informationen eines Eingabebildes, um das Durchschnittsbild zu berechnen.
Die Bildabgleicheinheit 200 berechnet unter Verwendung des Durchschnittsbildes Informationen zu einer Reflexionskomponente, die für ein Merkmal eines Objekts im Fahrzeugvorderseitenbild steht.
Die Bildabgleicheinheit 200 entfernt einen Pixelinformationswert des Durchschnittsbildes aus Pixelinformationswerten des linken Bildes und des rechten Bildes gemäß Koordinaten jedes im linken Bild und im rechten Bild eingeschlossenen Pixels, um Informationen zur Reflexionskomponente zu berechnen.
Die Bildabgleicheinheit 200 kann berechnete Informationen zur Reflexionskomponente komprimieren.
Die Bildabgleicheinheit 200 berechnet Informationen zur Reflexionskomponente und skaliert die berechneten Informationen zur Reflexionskomponente als ein Protokoll.
Die Bildabgleicheinheit 200 kann unter Verwendung eines dynamischen Programmierverfahrens ein Stereoabgleichen zwischen dem linken Bild und dem rechten Bild durchführen. Ferner kann die Bildabgleicheinheit 200 ein Stereoabgleichen durchführen, um eine Disparitätskarte zu erzeugen.
Die Bildabgleicheinheit 200 kann ein Dreieck zeichnen, indem Linien auf der Grundlage eines effizienten Stereoabgleichverfahrens in großem Maßstab (efficient large-scale stereo (ELAS) matching method) gemäß der beispielhaften Ausführungsform verbunden werden, um eine Tiefe zu berechnen.
Die Bildabgleicheinheit 200 kann die Tiefe und die Koordinaten, die für jeden Merkmalspunkt berechnet wurden, an die Ebenenberechnungseinheit 300 und die Normalenberechnungseinheit 400 ausgeben.
Die Ebenenberechnungseinheit 300 berechnet eine Ebene, in der schätzungsgemäß die Merkmalspunkte in demselben Raum vorhanden sind.
Zum Beispiel führt die Ebenenberechnungseinheit 300 eine Farbsegmentierung am Fahrzeugvorderbild durch, um eine Ebene zu berechnen, in der schätzungsgemäß die Merkmalspunkte in demselben Raum vorhanden sind.
Alternativ dazu verbindet die Ebenenberechnungseinheit 300 jeweils drei Merkmalspunkte der Mehrzahl von Merkmalspunkten auf der Grundlage der Koordinaten und der Tiefe der Mehrzahl von Merkmalspunkten, um eine Mehrzahl von Dreiecken zu berechnen. Hier bezieht sich das Dreieck auf eine dreieckige Ebene und Knoten des Dreiecks, die drei unterschiedlichen Merkmalspunkten entsprechen.
Zum Beispiel kann die Ebenenberechnungseinheit 300 unter Verwendung einer Delaunay-Triangulation eine Mehrzahl von Dreiecken aus der Mehrzahl von Merkmalspunkten berechnen. Hier kann sich die Delaunay-Triangulation auf eine Technik beziehen, die im Falle, dass in einem beliebigen Raum eingeschlossene Punkte verbunden werden, um eine Mehrzahl von Dreiecken zu bilden, einen Punkt nicht einschließt, dessen Umkreis nicht im Dreieck eingeschlossen ist.
Die Normalenberechnungseinheit 400 kann eine Richtung (zum Beispiel eine Normalenrichtung) berechnen, zu der die Mehrzahl von durch die Ebenenberechnungseinheit 300 berechneten Dreiecken gerichtet ist. Speziell schließen die durch die Ebenenberechnungseinheit 300 berechneten Dreiecke drei Merkmalspunkte ein, und da die Koordinaten und die Tiefe der Merkmalspunkte im Voraus durch die Bildabgleicheinheit 200 berechnet wurden, kann die Normalenberechnungseinheit 400 eine Normalenrichtung jedes Dreiecks oder den Normalenvektor berechnen. In diesem Fall kann die Normalenberechnungseinheit 400 eine Richtung der Normalen berechnen, die durch einen Schwerpunkt jedes Dreiecks verläuft.
Die Normalenberechnungseinheit 400 kann zwei Dreiecke, die gleiche Normalen besitzen, unter der Mehrzahl von Dreiecken als eine Ebene hinzufügen. Wenn zum Beispiel eine Abweichung der Normalenrichtungen von zwei unterschiedlichen Dreiecken innerhalb eines vorbestimmten Winkels liegt, stellt die Normalenberechnungseinheit 400 fest, dass die zwei Dreiecke gleich sind, und fügt die zwei Dreiecke als eine Ebene hinzu. Wenn in diesem Fall eine Abweichung zwischen der Normalenrichtung der hinzugefügten Ebene und der Aufnahmerichtung der Stereokamera 100 kleiner ist als ein vorbestimmter Winkel, kann die Normalenberechnungseinheit 400 die durch Hinzufügen zweier Dreiecke erhaltene Ebene als ein Hindernis erkennen. Dadurch kann ein Bearbeitungsumfang verringert werden, den die Hinderniserkennungseinheit 500 zum Erkennen eines Hindernisses benötigt, was nachstehend beschrieben wird.
Wenn sich als ein weiteres Beispiel zwei Dreiecke unter der Mehrzahl von Dreiecken eine Ecke teilen und eine Abweichung der Normalenrichtungen innerhalb eines vorbestimmten Winkels liegt, kann die Normalenberechnungseinheit 400 die Normalenrichtungen der zwei Dreiecke so festlegen, dass sie denselben Wert besitzen. Wenn sich speziell unter der Mehrzahl von Dreiecken das erste Dreieck und das zweite Dreieck eine Ecke teilen und eine Abweichung zwischen einer ersten Richtung, die eine Normalenrichtung eines ersten Dreiecks ist, und einer zweiten Richtung, die eine Normalenrichtung eines zweiten Dreiecks ist, kleiner als ein vorbestimmter erster Schwellenwert ist, kann die Normalenberechnungseinheit 400 die Normale des ersten Dreiecks und des zweiten Dreiecks so festlegen, dass sie der ersten Richtung, der zweiten Richtung und einer Zwischenrichtung der ersten Richtung und der zweiten Richtung aufweist.
Die Hinderniserkennungseinheit 500 kann auf der Grundlage eines Ergebnisses eines Vergleichens der Aufnahmerichtung der Stereokamera 100 mit den Normalenrichtungen der Mehrzahl von Dreiecken ein Hindernis nahe dem Fahrzeug erkennen.
Speziell kann die Normalenberechnungseinheit 400 unter der Mehrzahl von Dreiecken ein Dreieck extrahieren, das zur Stereokamera 100 weist. Hier kann sich das Dreieck unter den durch die Ebenenberechnungseinheit 300 berechneten Dreiecken, das zur Stereokamera 100 weist, auf ein Dreieck beziehen, das eine Normalenrichtung mit einer Abweichung von der Aufnahmerichtung der Stereokamera 100 besitzt, die kleiner ist als der vorbestimmte zweite Schwellenwert.
Die Hinderniserkennungseinheit 500 kann ein Hindernis unter durch die Bildabgleicheinheit 200 erzeugten stereoskopischen Bildern nur in Hinblick auf mindestens ein Dreieck erkennen, das in einer vorbestimmten Region von Interesse (region of interest (ROI)) eingeschlossen ist. Zum Beispiel kann, selbst wenn unter der Mehrzahl von Dreiecken eine Abweichung zwischen einer Normalenrichtung eines dritten Dreiecks, das sich außerhalb der Region von Interesse ROI befindet, und der Aufnahmerichtung der Stereokamera 100 kleiner ist als der vorbestimmte zweite Schwellenwert, die Hinderniserkennungseinheit 500 unter Umständen ein drittes Dreieck nicht als ein Hindernis erkennen.
Wenn in der Zwischenzeit eine Abweichung zwischen einer Normalenrichtung irgendeines Dreiecks unter der Mehrzahl von Dreiecken und der Aufnahmerichtung der Stereokamera 100 kleiner ist als der vorbestimmte zweite Schwellenwert, kann die Hinderniserkennungseinheit 500 unter Umständen das Dreieck nicht als ein Hindernis erkennen. Wenn zum Beispiel die Normale eines beliebigen Dreiecks in eine Richtung senkrecht zur Aufnahmerichtung der Stereokamera 100 weist, kann die Hinderniserkennungseinheit feststellen, dass es sich bei dem Dreieck nicht um ein Hindernis, sondern um eine Straßenoberfläche handelt.
Wenn die Hinderniserkennungseinheit 500 ein Hindernis vor dem Fahrzeug erkennt, kann eine Warneinheit 600 Informationen zum erkannten Hindernis oder eine Warnmeldung ausgeben. Die Informationen zum erkannten Hindernis können Informationen zu mindestens einem von einer Größe des Hindernisses, einer Position des Hindernisses und einem Abstand vom Fahrzeug zum Hindernis einschließen. In diesem Fall kann die Warneinheit 600 die Warnmeldung unter Umständen nur ausgeben, wenn der Abstand zum erkannten Hindernis geringer als ein vorbestimmter Referenzabstand ist. Die Warnmeldung kann sichtbar auf einer Anzeige des Fahrzeugs angezeigt oder hörbar durch einen Lautsprecher des Fahrzeugs ausgegeben werden.
2 veranschaulicht gemäß einer beispielhaften Ausführungsform ein Ergebnis eines Berechnens eines Normalenvektors Ni an einem beliebigen Punkt durch eine Normalenberechnungseinheit 400. 2A veranschaulicht ein Pixel einer Tiefenkarte, und 2B veranschaulicht dreidimensionale Punktsatzdaten. Die Normalenberechnungseinheit 400 wählt vier Punkte aus, die sich in Hinblick auf einen Punkt Pi auf der Tiefenkarte oben und unten und links und rechts auf einem Pixel befinden, und sucht vier in 2A ausgewählte Punkte auf den dreidimensionalen Punktsatzdaten von 2B, um einen Vektor zwischen Punkten, die sich links und rechts auf dem Pixel befinden, und einen Vektor zwischen Punkten, die sich oben und unten befinden, zu konfigurieren und dann ein äußeres Produkt zwischen zwei Vektoren zu berechnen, um eine Normale zu berechnen.
3 veranschaulicht gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung ein Beispiel, das ein Hindernis aus einem Bild erkennt, das unter Verwendung der Stereokamera 100 aufgenommen wurde. Zur Bequemlichkeit der Beschreibung wird davon ausgegangen, dass die Ebenenberechnungseinheit 300 eine Mehrzahl von Merkmalspunkten aus einem stereoskopischen Bild berechnet, das durch die Bildabgleicheinheit 200 erzeugt wurde, und die Normalenberechnungseinheit 400 eine Mehrzahl von Merkmalspunkten verbindet, um eine Mehrzahl von Dreiecken zu berechnen.
Zuerst veranschaulicht 3A ein Ergebnis, in dem die Ebenenberechnungseinheit 300 jeweils drei Merkmalspunkte der Mehrzahl von Merkmalspunkten verbindet, die aus dem durch die Bildabgleicheinheit 200 erzeugten Bild extrahiert wurden, um die Mehrzahl von Dreiecken zu berechnen. Wie in der Zeichnung veranschaulicht, kann manches Dreieck eine gemeinsame Ecke mit einem anderen Dreieck besitzen, und eine Mehrzahl von Dreiecken kann sequenziell verbunden sein. Die Normalenberechnungseinheit 400 kann eine Normalenrichtung für die Mehrzahl von Dreiecken berechnen, die sequenziell verbunden sind, wie in 3A veranschaulicht.
Als Nächstes veranschaulicht 3B ein Ergebnis, bei dem die Hinderniserkennungseinheit 500 die Mehrzahl von in 3 veranschaulichten Dreiecken abhängig davon einstuft, ob sie eine Abweichung von der Aufnahmerichtung der Stereokamera 100 besitzen, die kleiner ist als der vorbestimmte zweite Schwellenwert.
Speziell kann die Hinderniserkennungseinheit 500 ein Dreieck, das eine Normalenrichtung aufweist, deren Abweichung von der Aufnahmerichtung der Stereokamera 100 kleiner ist als der vorbestimmte zweite Schwellenwert, als ein Hindernis einstufen. Ferner kann die Hinderniserkennungseinheit 500 ein Dreieck, das eine Normalenrichtung aufweist, deren Abweichung von der Aufnahmerichtung der Stereokamera 100 gleich oder größer ist als der vorbestimmte zweite Schwellenwert, als ein Nicht-Hindernis einstufen. Bei einer Region, die in 3B in grauer Farbe dargestellt ist, handelt es sich um eine Region, in der sich ein Dreieck befindet, das als ein Hindernis eingestuft ist, und bei einer Region, die in schwarzer Farbe dargestellt ist, handelt es sich um eine Region, in der sich ein Dreieck befindet, das nicht als ein Hindernis eingestuft ist.
Daher erkennt die Hinderniserkennungseinheit 500 ein Hindernis auf der Grundlage der Normalenrichtung von Dreiecken mit einigen Pixeln, die den Merkmalspunkten als Knoten entsprechen, anstelle der gesamten im stereoskopischen Bild eingeschlossen Pixel, sodass die Hinderniserkennungsgeschwindigkeit erheblich verbessert werden kann, ohne an Leistungsfähigkeit zu verlieren.
4 veranschaulicht gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung ein Beispiel eines Ermittelns, ob es sich um ein Hindernis handelt, auf der Grundlage einer Normalenrichtung eines Dreiecks. Zur Bequemlichkeit der Beschreibung erfolgt die Beschreibung in Hinblick auf eine Seitenansicht.
Unter Bezugnahme auf 4 wird die Stereokamera 100 in einer Position (zum Beispiel einer Windschutzscheibe) eines fahrenden Fahrzeugs bereitgestellt, um ein Objekt vor dem Fahrzeug aufzunehmen. In diesem Fall wird davon ausgegangen, dass die Aufnahmerichtung der Stereokamera 100 parallel zu einem Boden ist, wie in der Zeichnung veranschaulicht.
In diesem Fall kann das Objekt, das aufgenommen wird, durch die Ebenenberechnungseinheit 300 als eine Mehrzahl von Dreiecken berechnet werden, und manche der Dreiecke können in Hinblick auf das Fahrzeug als ein Hindernis wirken.
Wie in der Zeichnung veranschaulicht, kann die Ebenenberechnungseinheit 300 zum Beispiel ein erstes Dreieck T1 und ein zweites Dreieck T2 auf der Grundlage eines Bildes für das Objekt berechnen. Ferner kann die Normalenberechnungseinheit 400 eine erste Normale N1 in Hinblick auf das erste Dreieck T1 und eine zweite Normale N2 für das zweite Dreieck T2.
Die Hinderniserkennungseinheit 500 kann eine erste Richtungsabweichung θ1 berechnen, bei der es sich um eine Abweichung zwischen der Aufnahmerichtung D_A der Stereokamera 100 parallel zum Boden und einer Richtung der ersten Normalen N1 handelt. Die Hinderniserkennungseinheit 500 kann eine zweite Richtungsabweichung θ2 berechnen, bei der es sich um eine Abweichung zwischen der Aufnahmerichtung D_A der Stereokamera 100 parallel zum Boden und einer Richtung der zweiten Normalen N2 handelt.
Wenn eine Beziehung der ersten Richtungsabweichung θ1, der zweiten Richtungsabweichung θ2 und einem zweiten Schwellenwert θ_Th der Ungleichung θ1 < θ_th ≤ θ2 genügt, erkennt die Hinderniserkennungseinheit 500 das erste Dreieck T1 als ein Hindernis, erkennt jedoch nicht das zweite Dreieck T2 als ein Hindernis
Auch wenn in 4 veranschaulicht ist, dass ein einziges Objekt vor dem Fahrzeug vorhanden ist und zwei Dreiecke für das Objekt berechnet werden, stellt dies nur ein Beispiel dar. Wenn zwei oder mehr Objekte vor dem Fahrzeug vorhanden sein können und drei oder mehr Dreiecke für jedes Objekt berechnet werden, kann auch dasselbe Objekterkennungsverfahren angewandt werden.
5 zeigt einen Ablaufplan eines Hinderniserkennungsverfahrens gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung.
In Schritt S100 erzeugt eine Stereokamera 100 gemäß einer beispielhaften Ausführungsform ein linkes Bild und ein rechtes Bild. Speziell ist die Stereokamera 100 an einer Position vor dem Fahrzeug so montiert, dass sie eine vorbestimmte Aufnahmerichtung besitzt, und erzeugt ein linkes Bild unter Verwendung einer linken Linse und ein rechtes Bild unter Verwendung einer rechten Linse. Ferner kann die Stereokamera 100 das linke Bild und das rechte Bild an eine Bildabgleicheinheit 200 ausgeben.
Als Nächstes extrahiert eine Bildabgleicheinheit 200 in Schritt S110 eine Mehrzahl von Merkmalspunkten, die gemeinsam im linken und im rechten Bild eingeschlossen sind. Zum Beispiel wendet die Bildabgleicheinheit 200 einen Bildabgleichalgorithmus an, um einen Merkmalspunkt zu extrahieren, bei dem es sich um ein Pixel handelt, das im linken Bild und im rechten Bild gemeinsam eingeschlossen ist und eine Ähnlichkeit besitzt, die größer als ein Referenzwert ist. Ferner kann die Bildabgleicheinheit 200 eine Tiefe aus einem Rand berechnen, die gleich oder größer als ein vorbestimmter Wert in den Bildern ist. Ferner berechnet die Bildabgleicheinheit 200 eine Region, in der eine Helligkeitsänderung gleich oder größer als ein vorbestimmter Wert ist, im linken Bild und im rechten Bild unter Verwendung der Randerkennung und wendet dann den Blockabgleichalgorithmus auf die Region an, für die berechnet wurde, dass die Helligkeitsänderung gleich oder größer als der vorbestimmte Wert ist, um eine Mehrzahl von Merkmalspunkten zu extrahieren.
Als Nächstes kann die Bildabgleicheinheit 200 in Schritt S120 Koordinaten und eine Tiefe der Mehrzahl von extrahierten Merkmalspunkten berechnen. Hier kann die Bildabgleicheinheit 200 die Tiefe jedes der Merkmalspunkte auf der Grundlage einer Disparität zwischen dem linken Bild und dem rechten Bild berechnen. Ferner kann die Bildabgleicheinheit 200 eine Tiefe der Mehrzahl von Merkmalspunkten als einen Satz berechnen.
Als Nächstes verbindet die Ebenenberechnungseinheit 300 in Schritt S130 jeweils drei Merkmalspunkte der Mehrzahl von Merkmalspunkten auf der Grundlage der Koordinaten und der Tiefe der Mehrzahl von Merkmalspunkten, um eine Mehrzahl von Dreiecken zu berechnen.
Als Nächstes berechnet eine Normalenberechnungseinheit 400 in Schritt S140 Normalenrichtungen der Mehrzahl von Dreiecken. Drei Knoten jedes Dreiecks entsprechen den extrahierten Merkmalspunkten, und die Koordinaten und die Tiefe der Merkmalspunkte sind bereits berechnet, sodass die Normalenberechnungseinheit 400 die Normalenrichtungen der Mehrzahl von Dreiecken berechnen kann.
Die Hinderniserkennungseinheit 500 kann in Schritt S150 auf der Grundlage eines Ergebnisses eines Vergleichens der Aufnahmerichtung der Stereokamera 100 mit den Normalenrichtungen der Mehrzahl von Dreiecken ein Hindernis vor dem Fahrzeug erkennen.
Als Nächstes kann eine Hinderniserkennungseinheit 500 ein Dreieck unter der Mehrzahl von Dreiecken, das eine Normalenrichtung aufweist, deren Abweichung von der Aufnahmerichtung der Stereokamera 100 kleiner ist als der vorbestimmte zweite Schwellenwert, als ein Hindernis einstufen.
In diesem Fall kann die Hinderniserkennungseinheit 500 Informationen zu mindestens einem von einer Größe des erkannten Hindernisses, einer Position des Hindernisses und einem Abstand vom Fahrzeug zum Hindernis berechnen. Zum Beispiel kann die Hinderniserkennungseinheit 500 eine Größe des Hindernisses auf der Grundlage einer Fläche des Dreiecks berechnen, das als ein Hindernis eingestuft ist, kann einen Abstand zum Hindernis auf der Grundlage der Tiefe des Merkmalspunktes berechnen, der in den Dreieck eingeschlossen ist, das als ein Hindernis eingestuft ist, und kann eine Position des Hindernisses auf der Grundlage der Koordinaten des Merkmalspunktes berechnen, der in dem Dreieck eingeschlossen ist, das als eine Hindernis eingestuft ist.
Die Hinderniserkennungseinheit 500 kann ein Dreieck unter der Mehrzahl von Dreiecken, das eine Normalenrichtung aufweist, deren Abweichung von der Aufnahmerichtung der Stereokamera 100 gleich oder größer ist als der vorbestimmte zweite Schwellenwert, als ein Nicht-Hindernis einstufen. Ferner kann die Normalenberechnungseinheit 400 Tiefen der Merkmalspunkte als einen Satz empfangen, der durch die Bildabgleicheinheit 200 ausgegeben wird. Ferner kann die Hinderniserkennungseinheit 500 ein Hindernis unter durch die Bildabgleicheinheit 200 erzeugten stereoskopischen Bildern unter Umständen nur in Hinblick auf Dreiecke erkennen, die in einer vorbestimmten Region von Interesse (ROI) eingeschlossen sind. Zum Beispiel kann, selbst wenn unter der Mehrzahl von Dreiecken eine Abweichung zwischen einer Normalenrichtung eines dritten Dreiecks, das sich außerhalb der Region von Interesse ROI befindet, und der Aufnahmerichtung der Stereokamera 100 kleiner ist als der vorbestimmte zweite Schwellenwert, die Hinderniserkennungseinheit 500 unter Umständen ein drittes Dreieck nicht als ein Hindernis erkennen.
Wenn als Nächstes die Hinderniserkennungseinheit 500 ein Hindernis vor dem Fahrzeug erkennt, kann eine Warneinheit 600 in Schritt S160 Informationen zum erkannten Hindernis oder eine Warnmeldung ausgeben. Die Informationen zum erkannten Hindernis können Informationen zu mindestens einem von einer Größe des Hindernisses, einer Position des Hindernisses und einem Abstand vom Fahrzeug zum Hindernis einschließen. In diesem Fall kann die Warneinheit 600 die Warnmeldung unter Umständen nur ausgeben, wenn der Abstand zum erkannten Hindernis kürzer als ein vorbestimmter Referenzabstand ist. Die Warnmeldung kann sichtbar auf einer Anzeige des Fahrzeugs angezeigt oder hörbar durch einen Lautsprecher des Fahrzeugs ausgegeben werden.
Bevorzugte Ausführungsform der vorliegenden Erfindung wurden vorstehend veranschaulicht und beschrieben, die vorliegende Erfindung ist jedoch nicht auf die vorstehend beschriebenen spezifischen Ausführungsform beschränkt, es ist offensichtlich, dass vielfältige Modifikationen durch den Fachmann des Gebietes, dem die vorliegende Erfindung angehört, vorgenommen werden können, ohne vom Kern der vorliegenden Erfindung abzuweichen, die in den Ansprüchen beansprucht wird, und solche Modifikationen sollten nicht individuell aus dem technischen Geist oder der Vorstellung der vorliegenden Erfindung ersehen werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

KR 10-2014-0186267 [0001]

Claims

Hinderniserkennungseinrichtung, die umfasst: eine Stereokamera, die eine Vorderseite eines Fahrzeugs aufnimmt, um ein linkes Bild und ein rechtes Bild zu erzeugen; eine Bildabgleicheinheit, die einen Blockabgleichalgorithmus auf das linke Bild und das rechte Bild anwendet, um eine Mehrzahl von Merkmalspunkten zu extrahieren, die eine Ähnlichkeit besitzen, die gleich oder größer als ein Referenzwert ist, und Koordinaten und um eine Tiefe der Mehrzahl von extrahierten Merkmalspunkten zu berechnen; eine Ebenenberechnungseinheit, die jeweils drei Merkmalspunkte der Mehrzahl von Merkmalspunkten verbindet, um auf der Grundlage der Koordinaten und der Tiefe der Mehrzahl von Merkmalspunkten eine Mehrzahl von Dreiecken zu berechnen; eine Normalenberechnungseinheit, die auf der Grundlage der Koordinaten und der Tiefe von drei Merkmalspunkten, die Knoten der Mehrzahl von Dreiecken entsprechen, Richtungen von Normalen der Mehrzahl von Dreiecken berechnet; und eine Hinderniserkennungseinheit, die auf der Grundlage eines Ergebnisses eines Vergleichens einer Aufnahmerichtung der Stereokamera mit den Normalenrichtungen der Mehrzahl von Dreiecken ein Hindernis vor dem Fahrzeug erkennt.
Hinderniserkennungseinrichtung nach Anspruch 1, wobei die Bildabgleicheinheit eine Region, in der eine Helligkeitsänderung gleich oder größer als ein vorbestimmter Wert ist, im linken Bild und im rechten Bild unter Verwendung der Randerkennung berechnet, und der Blockabgleichalgorithmus auf die Region angewandt wird, in der die Helligkeitsänderung gleich oder größer als der vorbestimmte Wert ist, um die Mehrzahl von Merkmalspunkten zu extrahieren.
Hinderniserkennungseinrichtung nach Anspruch 1 oder 2, wobei die Ebenenberechnungseinheit die Mehrzahl von Dreiecken unter Verwendung von Delaunay-Triangulation berechnet.
Hinderniserkennungseinrichtung nach einem der vorhergehenden Ansprüche, wobei die Normalenberechnungseinheit eine Richtung einer Normalen berechnet, die durch einen Schwerpunkt der Mehrzahl von Dreiecken verläuft.
Hinderniserkennungseinrichtung nach einem der vorhergehenden Ansprüche, wobei im Falle, dass eine Abweichung von Richtungen der Normalen von zwei Dreiecken, die sich eine Ecke teilen, unter der Mehrzahl von Dreiecken kleiner ist als ein vorbestimmter erster Schwellenwert, die Normalenberechnungseinheit Normalenrichtungen von zwei Dreiecken auf denselben Wert festlegt.
Hinderniserkennungseinrichtung nach Anspruch 5, wobei im Falle, dass sich ein erstes Dreieck und ein zweites Dreieck unter der Mehrzahl von Dreiecken eine Ecke teilen und eine Abweichung zwischen einer ersten Richtung, die eine Normalenrichtung des ersten Dreiecks ist, und einer zweiten Richtung, die eine Normalenrichtung des zweiten Dreiecks ist, kleiner als der vorbestimmte erste Schwellenwert ist, die Normalenberechnungseinheit die Normale des ersten Dreiecks und des zweiten Dreiecks so festlegt, dass sie eine der ersten Richtung, der zweiten Richtung und einer Zwischenrichtung der ersten Richtung und der zweiten Richtung aufweist.
Hinderniserkennungseinrichtung nach einem der vorhergehenden Ansprüche, wobei die Hinderniserkennungseinheit ein Dreieck, das eine Normalenrichtung aufweist, die eine Abweichung von der Aufnahmerichtung der Stereokamera besitzt, die kleiner ist als der vorbestimmte zweite Schwellenwert, unter der Mehrzahl von Dreiecken als ein Hindernis erkennt.
Hinderniserkennungseinrichtung nach einem der Ansprüche 1 bis 6, wobei die Hinderniserkennungseinheit ein Dreieck, das eine Normalenrichtung aufweist, die eine Abweichung von der Aufnahmerichtung der Stereokamera besitzt, die gleich oder größer ist als der vorbestimmte zweite Schwellenwert, unter der Mehrzahl von Dreiecken als eine Straßenoberfläche erkennt.
Hinderniserkennungseinrichtung nach einem der vorhergehenden Ansprüche, ferner umfassend: eine Warneinheit, die Informationen zum Hindernis oder eine Warnmeldung ausgibt, wenn durch die Hinderniserkennungseinheit ein Hindernis vor dem Fahrzeug erkannt wird.
Hinderniserkennungsverfahren, umfassend: Erzeugen eines linken Bildes und eines rechten Bildes im Hinblick auf eine Vorderseite eines Fahrzeuges unter Verwendung einer Stereokamera; Extrahieren einer Mehrzahl von Merkmalspunkten mit einer Ähnlichkeit, die gleich oder größer als ein Referenzwert ist, indem ein Blockabgleichalgorithmus auf das linke Bild und auf das rechte Bild angewandt wird; Berechnen von Koordinaten und einer Tiefe der Mehrzahl von extrahierten Merkmalspunkten; Verbinden von jeweils drei Merkmalspunkten der Mehrzahl von Merkmalspunkten, um auf der Grundlage der Koordinaten und der Tiefe der Mehrzahl von Merkmalspunkten eine Mehrzahl von Dreiecken zu berechnen; Berechnen von Richtungen von Normalen der Mehrzahl von Dreiecken auf der Grundlage der Koordinaten und der Tiefe von drei Merkmalspunkten, die Knoten der Mehrzahl von Dreiecken entsprechen; und Erkennen eines Hindernisses vor dem Fahrzeug auf der Grundlage eines Ergebnisses eines Vergleichens einer Aufnahmerichtung der Stereokamera mit den Normalenrichtungen der Mehrzahl von Dreiecken.
Hinderniserkennungsverfahren nach Anspruch 10, wobei das Extrahieren von Merkmalspunkten umfasst: Berechnen einer Region, in der eine Helligkeitsänderung gleich oder größer als ein vorbestimmter Wert ist, im linken Bild und im rechten Bild unter Verwendung der Randerkennung; und Anwenden des Blockabgleichalgorithmus auf die Region, in der die Helligkeitsänderung gleich oder größer als der vorbestimmte Wert ist, um die Mehrzahl von Merkmalspunkten zu extrahieren.
Hinderniserkennungsverfahren nach Anspruch 10 oder 11, wobei beim Berechnen von Normalenrichtungen der Mehrzahl von Dreiecken im Falle, dass eine Abweichung von Richtungen der Normalen von zwei Dreiecken, die sich eine Ecke teilen, unter der Mehrzahl von Dreiecken kleiner ist als ein vorbestimmter erster Schwellenwert, die Normalenrichtungen von zwei Dreiecken auf denselben Wert festgelegt werden.
Hinderniserkennungsverfahren nach einem der Ansprüche 10 bis 12, wobei beim Erkennen eines Hindernisses vor dem Fahrzeug ein Dreieck, das eine Normalenrichtung aufweist, die eine Abweichung von der Aufnahmerichtung der Stereokamera besitzt, die kleiner ist als der vorbestimmte zweite Schwellenwert, unter der Mehrzahl von Dreiecken als ein Hindernis erkannt wird.
Hinderniserkennungsverfahren nach einem der Ansprüche 10 bis 13, ferner umfassend: Ausgeben von Informationen zum Hindernis oder einer Warnmeldung, wenn ein Hindernis vor dem Fahrzeug erkannt wird.
Hinderniserkennungsverfahren nach einem der Ansprüche 10 bis 14, wobei beim Erkennen eines Hindernisses ein Dreieck, das eine Normalenrichtung aufweist, die eine Abweichung von der Aufnahmerichtung der Stereokamera besitzt, die gleich oder größer ist als der vorbestimmte Wert, unter der Mehrzahl von Dreiecken als eine Straßenoberfläche erkannt wird.