DE60308782T2

DE60308782T2 - Vorrichtung und Methode zur Hinderniserkennung

Info

Publication number: DE60308782T2
Application number: DE60308782T
Authority: DE
Inventors: Hiroaki Nakai; Hiroshi Hattori; Nobuyuki Takeda; Kazunori Onoguchi
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2002-08-28
Filing date: 2003-08-28
Publication date: 2007-09-20
Anticipated expiration: 2023-08-29
Also published as: US7132933B2; US20050169530A1; EP1394761A2; EP1394761A3; EP1394761B1; JP3895238B2; US6906620B2; US20040096082A1; DE60308782D1; JP2004086779A

Description

HINTERGRUND DER ERFINDUNG GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft eine Hinderniserkennungsvorrichtung zum Erkennen von Hindernissen auf einer Straße, ohne diese mit Texturen bzw. Strukturen zu verwechseln, unter Verwendung einer Vielzahl von in einem Fahrzeug angeordneten oder über der Straße vorgesehenen Kameras, und ein für die Vorrichtung angewendetes Verfahren. Die Hindernisse sind hierbei solche, die sich auf der Straße befinden, zum Beispiel andere vorausfahrende Fahrzeuge, geparkte Fahrzeuge und Fußgänger. Die Strukturen sind u. a. weiße Linien, Verkehrszeichen, Farbe, Straßenverfärbungen und Schatten von Objekten am Straßenrand, die alle die Fahrt des Fahrzeugs nicht behindern. Die Kameras sind hauptsächlich zur Unterstützung des sicheren Fahrens und zur Realisierung des automatischen Fahrens des Fahrzeugs oder zum Zählen der Anzahl der auf der Straße vorbeifahrenden Fahrzeuge oder zur Beobachtung der Fahrt dieser vorbeifahrenden Fahrzeuge vorgesehen. Hinderniserkennung ist auch dann möglich, wenn sich die Beziehung zwischen der Straßenebene und den entsprechenden Kameras in der relativen Position oder Ausrichtung ständig ändert, zum Beispiel durch Kameraerschütterung oder eine Änderung in der Straßenneigung.
BESCHREIBUNG DES STANDES DER TECHNIK
Ein Verfahren zum Erkennen von Hindernissen auf Straßen wird in zwei Typen unterteilt: eines ist ein Typ, der aktive Sensoren verwendet, deren typische Vertreter Schallortungsgeräte, Radar und Entfernungsmeßgeräte sind; und das andere ist ein Typ, der passive Sensoren verwendet, deren typische Vertreter CCD-Kameras für sichtbares Licht und Infrarotkameras sind.
Die aktiven Sensoren sind zum Messen von Objektpositionen in verschiedenen Anwendungen verbreitet und für ihre Verwendbarkeit bekannt. Die aktiven Sensoren haben jedoch Probleme mit der Anwendung zur Erkennung von auf der Fahrstrecke auf den Straßen befindlichen Hindernissen, zum Beispiel weitere Fahrzeuge. Die Probleme sind insbesondere einer zu geringen Auflösung, einer nicht ausreichenden Reichweite, fehlerhafter Erkennung von Nicht-Hindernissen auf den Straßen und fehlerhafter Erkennung von Objekten zuzuordnen, die sich auf der nicht störenden Straßenseite befinden, bedingt durch mangelndes Fahrstreifenerkennungsvermögen. Daher besteht Bedarf an einer hochentwickelten Hinderniserkennungstechnologie durch Bildanalyse unter Verwendung der passiven Sensoren, beispielsweise CCD-Kameras.
Um auf Fahrbahnen befindliche Hindernisse durch Analyse von Bildern zu erkennen, die beispielsweise von in Fahrzeugen angeordneten CCD-Kameras bereitgestellt werden, wird im allgemeinen Information über die Bildhelligkeitsgradstruktur oder zu diesem Zweck zu erkennenden Fahrstreifen genutzt. Was das Erkennen der Fahrstreifen betrifft, so ist das Ausschneiden von Teilen in Grauschattierungen mit geringerer Struktur aus mit einer Kamera aufgenommenen Bildern ausreichend.
Das Problem hierbei ist, daß viele Hindernisse in ihrem Bildhelligkeitsgrad oder in ihrer Bildhelligkeitsstruktur den Straßen tatsächlich ähnlich sind, was es schwierig macht, bessere Verwendbarkeit mit weniger Falscherkennung zu erreichen.
Es gibt einen weiteren Verfahrenstyp, der eine Vielzahl von Kameras zur Erkennung von Hindernissen und Fahrstreifen verwendet. Ein solches Verfahren wird im allgemeinen als ein stereoskopisches Verfahren bezeichnet.
Bei stereoskopischen Ansichten kann eine dreidimensionale (3D-)Information über einen Zielermittlungsbereich nach dem Triangulationsprinzip abgeleitet werden. Daher scheinen stereoskopische Ansichten eine Lösung zur Hindernis- und Fahrstreifenerkennung mit höherer Genauigkeit zu sein, aber sie bringen auch Probleme mit sich. Zum Beispiel kann eine Korrespondenzpunktsuche nicht eindeutig gelöst werden, und die Berechnungskosten sind ziemlich hoch. Diese Korrespondenzpunktsuche wird durchgeführt, um irgendeinen spezifischen Punkt bzw. irgendwelche spezifischen Punkte in der reellen Welt zu finden, die in einer Vielzahl von Kamerabildern gemeinsam vorkommen.
In dieser Hinsicht erfordern in Patentliteratur 1 (JP-A-2000-293693) und Patentliteratur 2 (JP-A-2001-76128) offenbarte Verfahren keine solche Korrespondenzpunktsuche und werden zur Hinderniserkennung als brauchbar betrachtet. Diese Verfahren werden unten beschrieben.
Wir nehmen nunmehr an, daß zwei Kameras, eine rechte und eine linke, bereitgestellt werden, um Bilder einer Straße aufzunehmen. Als Projektionspunkte, die ein Ergebnis des Projizierens von Punkten auf der Straßenebene auf von der rechten und linken Kamera aufgenommene Bilder sind, werden (u, v) und (u', v') angenommen, und ein Vergleichsausdruck 1 wird wie folgt aufgestellt:
Die Gleichung 2 zeigt einen Parameter, der von den Positionen und Ausrichtungen der rechten und linken Kamera in bezug auf die Straßenebene, den Objektivbrennweiten der Kameras, Ursprungspunkten der Bilder und dergleichen abhängig ist. Der Parameter h kann im voraus nur durch Projektionspunkte (u_i, v_i) und (u_i', v_i') (i = 1, 2,... N) abgeleitet werden, die diejenigen sind, die durch Projizieren von vier oder mehr Punkten auf der Straßenebene auf das rechte und linke Bild abgeleitet werden. Bei einem solchen Vergleichsausdruck wird ein korrespondierender bzw. übereinstimmender Punkt P'(u', v') auf dem linken Bild auf der Grundlage der Annahme abgeleitet, daß sich ein beliebiger Punkt P(u, v) auf dem rechten Bild auf der Straßenebene befindet. Wenn sich der Punkt P tatsächlich auf der Straßenebene befindet, werden die Punkte P und P' als die richtigen Korrespondenzpunkte gepaart, was zu einer brauchbaren Übereinstimmung zwischen zwei Pixeln oder benachbarten Bereichen hinsichtlich des Helligkeitsgrades oder -merkmals führt. Wenn sich dagegen die Punkte P und P' im Helligkeitsgrad unterscheiden, wird der Punkt P als einem Hindernisbereich zugehörig bestimmt. Dieses Verfahren ermöglicht es, daß nur aus dem Vergleichsausdruck 1 unmittelbar bestimmt wird, ob ein beliebiger Punkt im Bild eine Höhe von der Straßenebene hat. Daher besteht keine Notwendigkeit zur Korrespondenzpunktsuche zwischen dem rechten und linken Bild.
Um ein solches Schema zur Erkennung von Hindernissen vor dem Fahrzeug anzuwenden, wird der Parameter h als ungefähr konstant angenommen, wenn das Fahrzeug mit geringer Geschwindigkeit auf einer ziemlich ebenen Straße fährt. Daher besteht keine Notwendigkeit, den Parameter h für eine richtige Hinderniserkennung zweimal zu berechnen.
Zur Korrespondenzermittlung wird hier der Betrieb eines dafür vorgesehenen Teils mit Bezug auf 3 bis 5 beschrieben.
Der Korrespondenzermittlungsteil wandelt ein von einer ersten Bildaufnahmevorrichtung aufgenommenes erstes Bild in ein von einem Standpunkt einer zweiten Bildaufnahmevorrichtung gesehenes Bild um. Ein für diese Umwandlung verwendeter Parameter wird so berechnet, daß eine typische geometrische Beziehung zwischen einer Vielzahl von Bildaufnahmevorrichtungen und der Straßenebene unter einer Annahme beibehalten wird, nämlich daß das Fahrzeug auf der neigungsfreien Straßenebene steht. Der Parameter wird nicht zweimal berechnet und während der Hinderniserkennung nicht geändert, zum Beispiel wenn das Fahrzeug in Bewegung ist.
Der Parameter wird auf Grundlage der Patentliteratur 1 berechnet und unten beschrieben.
Mit Bezug auf 3 werden zwei Kameras a und b aufgestellt. Die Fahrbahn hat zwei parallele weiße Linien 1 und 1', die sich ungefähr entlang der optischen Achsen der Kameras erstrecken. Die Hinderniserkennungsvorrichtung ist über die Beziehung zwischen den beiden Kameras a und b hinsichtlich Position und Ausrichtung nicht informiert, sondern nur über die epipolare Einschränkung. Während die Hinderniserkennungsvorrichtung in Betrieb ist, tritt vermutlich keine Änderung hinsichtlich der relativen Positionen und Ausrichtungen der Kameras a und b und der epipolaren Einschränkung ein. Hier bedeutet die epipolare Einschränkung eine Einschränkungsbedingung für stereoskopische Bilder eines allgemeinen Typs. Unter dieser Bedingung ist, wie in 4 gezeigt, der beliebige Punkt P auf dem von der Kamera a aufgenommenen Bild (rechtes Bild) so eingeschränkt, daß er sich auf einer vorbestimmten geraden Linie befindet, die den korrespondierenden Punkt P' in dem von der Kamera b aufgenommenen Bild (linkes Bild) einschließt. Diese gerade Linie wird als eine Epipolarlinie bezeichnet. Wenn beispielsweise die optischen Achsen der Kameras so angeordnet sind, daß sie zueinander parallel sind, wird der korrespondierende Punkt des beliebigen Punkts P im rechten Bild auf der gleichen Bildzeile im rechten Bild gefunden. Folglich stimmt die Epipolarlinie mit der Bildzeile überein. Die epipolare Einschränkung ist von der Beziehung zwischen den stereoskopischen Kameras in der relativen Position und Ausrichtung und von internen Parametern der Kameras, zum Beispiel der Objektivbrennweite, und dem Ursprungspunkt der Bilder abhängig. Daß die epipolare Einschränkung invariant ist, das bedeutet, daß die relative Positionsbeziehung zwischen den stereoskopischen Kameras und ihren internen Parametern keine Änderung aufweist (während die Hinderniserkennungsvorrichtung in Betrieb ist oder das Fahrzeug, in dem die Vorrichtung angeordnet ist, in Bewegung ist). Diese epipolare Einschränkung ist in der nachfolgenden Gleichung 3 formuliert. (u', v', 1)F(u', v', 1)T = 0 (3)
Hierin ist (u, v) der beliebige Punkt P auf dem rechten Bild und (u', v') ist der korrespondierende Punkt P auf dem linken Bild. F bezeichnet eine 3×3-Matrix und wird als Fundamentalmatrix bezeichnet. Die Erweiterung der Gleichung 3 führt zur nachfolgenden Gleichung 4. (F11u + F12v + F13)u' + (F21u + F22v + F23)v' + (F31u + F32v + F33) = 0 (4)
Hierin bezeichnet F_ij (i, j = 1, 2, 3) ein Element der j Zeile(n) und i Spalte(n) der Matrix F und kann von einer Vielzahl von Korrespondenzpunkten abgeleitet werden. Ferner bezeichnet die Gleichung 4 eine Epipolarlinie, die mit dem Punkt P(u, v) auf dem rechten Bild übereinstimmt. Neun Elemente der Matrix F sind nicht alle unabhängig und theoretisch von sieben Korrespondenzpunkten ableitbar. Da eine 3D-Position für kein Korrespondenzpunktpaar erforderlich ist, ist die Berechnung der Matrix F, das heißt der epipolaren Einschränkung, ziemlich einfach. Die Linien 1 und 1' in jedem Bild sind dreidimensional parallel, allerdings nicht auf den von der rechten und linken Kamera aufgenommenen Bildern. Wie in 5 gezeigt, kreuzen die Linien 1 und 1' in jedem Bild einander in einem Punkt im Unendlichen, der als Verschwindungspunkt bezeichnet wird. Als nächstes wird eine Beziehung abgeleitet, die zwischen den Korrespondenzpunkten auf der Straßenebene hergestellt wird. Wie im rechten Bild von 5 gezeigt, sind P₁ und P₃ beliebige Punkte auf der geraden Linie 1, und P₂ und P₄ sind beliebige Punkte auf der geraden Linie 1'. Für diese vier Punkte können Korrespondenzpunkte P₁', P₂', P₃' und P₄' im linken Bild unter Verwendung der zuvor abgeleiteten epipolaren Einschränkung berechnet werden. Das heißt, der mit dem Punkt P₁ korrespondierende Punkt P₁' stimmt mit einem Schnittpunkt der geraden Linie 1 und der Epipolarlinie L₁ des Punkts P₁ auf dem linken Bild überein. Ebenso können die Punkte P₂', P₃' und P₄' jeweils als Schnittpunkte der Epipolarlinien L2, L3 und L4 der Punkte P₂, P₃ und P₄ und der geraden Linie 1 oder 1' abgeleitet werden. Wir nehmen an, daß (u_i, v_i) Koordinaten des Punkts P_i (i = 1, 2, 3, 4) sind und (u_i', v_i') Koordinaten des Punkts P_i' (i = 1, 2, 3, 4) sind. Die Beziehung zwischen den Koordinaten (u_i, v_i) und (u_i', v_i') kann durch einen Vergleichsausdruck 5 ausgedrückt werden.
Diese acht Gleichungen werden unter Verwendung der nachfolgenden Gleichung 6 gelöst. h = (h11, h12, h13, h21, h22, h23, h31, h32, h33) (6)
Wenn eine beliebige Lösung h die Gleichung 5 erfüllt, erfüllt auch ein konstantes Vielfaches kh von h (k ist konstant) die Gleichung 5. Keine Allgemeingültigkeit geht also bei h₃₃ = 1 verloren, und acht Gleichungen führen zu dem aus neun Elementen bestehenden h. Unter Verwendung eines solchen abgeleiteten h kann der Korrespondenzpunkt P'(u', v') auf dem rechten Bild mit der nachfolgenden Gleichung 7 unter einer Annahme berechnet werden, nämlich daß sich der beliebige Punkt P(u, v) auf dem linken Bild auf der Straßenebene befindet.
Wenn bei den Verfahren in Patentliteratur 1 und 2 das Fahrzeug auf typischen Außenstraßen fährt, ändert sich die Beziehung zwischen der Straßenebene und den jeweiligen Kameras in der relativen Position und Ausrichtung kontinuierlich durch Erschütterungen, die an der Hinderniserkennungsvorrichtung auftreten, oder durch eine Änderung der Straßenneigung. Folglich bringen diese Verfahren durch Fahrzeugerschütterung bedingte Probleme mit sich, wie etwa häufige Falscherkennung, besonders im Umkreis der Struktur der Straßenebene, zum Beispiel weiße Linien, Verkehrszeichen, Farbe, Straßenverfärbungen, Schatten von Objekten und Fahrzeugen am Straßenrand und dergleichen.
Wie oben beschrieben, ist bei einer Hinderniserkennungsvorrichtung unter Verwendung von CCD-Kameras eines herkömmlichen Typs die Anwendungsumgebung begrenzt, oder die Beziehung zwischen der Straßenebene und den entsprechenden Kameras ändert sich ständig in der relativen Position und Ausrichtung durch Erschütterungen während des Betriebs der Vorrichtung oder der Fahrzeugfahrt. Infolgedessen tritt häufige Falscherkennung besonders im Umkreis der Struktur auf der Straßenebene, zum Beispiel weiße Linien, Verkehrszeichen, Farbe, Straßenverfärbungen, Schatten und dergleichen auf, wobei die Richtigerkennungsgenauigkeit der Hinderniserkennung erheblich verringert wird.
WO 98/20455 offenbart einen Objektdetektor zur Unterscheidung zwischen einem Hindernis und einer Fahrbahn durch Bestimmung der Position der ebenen Fahrbahn und Bestimmung der Höhe der Objekte auf der Straße.
Die vorliegende Erfindung ist eine Vorrichtung nach Anspruch 1 und ein entsprechendes Verfahren, Programm und Programmaufzeichnungsmedium, wie in den Ansprüchen 6, 11 und 16 definiert.
Eine solche Hinderniserkennungsvorrichtung kann in der Lage sein, wahre Hindernisse richtig zu erkennen, ganz gleich, auf welcher Straße die Vorrichtung angebracht ist oder auf welcher Straße ein Fahrzeug, in dem die Vorrichtung angeordnet ist, fährt.
Das Neigungsgradberechnungsmittel kann den Neigungswinkel als einen Steigungswinkel zwischen der Grundebene und der Ermittlungsebene und einen Parameter einer Affintransformationsmatrix, der eine Beziehung zwischen den Korrespondenzpunkten in den Bildern anzeigt, oder einen von dem Parameter abgeleiteten eindeutigen Wert als einen Neigungsgrad ansehen.
Das Neigungsgradberechnungsmittel kann den Neigungsgrad durch Lösen einer Gleichung auf Grundlage einer Parallaxe und vertikaler Positionen der Vielzahl von Korrespondenzpunktpaaren berechnen.
Das Neigungsgradberechnungsmittel kann den Neigungsgrad durch Entscheidungskoordinatenwerte der Vielzahl von Korrespondenzpunktpaaren in einem Entscheidungsraum auf Grundlage einer Gleichung berechnen, die durch die Koordinatenwerte erfüllt wird.
Das Neigungsgradberechnungsmittel kann aus der Vielzahl von Korrespondenzpunktpaaren nur das Korrespondenzpunktpaar als ein Hindernis ermitteln, das einen Neigungsgrad ergibt, der einen hohen Wert hat.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ist eine schematische Darstellung, die den Aufbau einer Hinderniserkennungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
2 ist eine schematische Darstellung, die den aufgebauten Zustand von in einem Fahrzeug angeordneten Bildaufnahmevorrichtungen zeigt;
3 ist eine schematische Darstellung, die eine Straßenebene und den aufgebauten Zustand von Bildaufnahmevorrichtungen zeigt;
4 ist eine schematische Darstellung, die die auf einen beliebigen Punkt angewendete epipolare Einschränkung zeigt;
5 ist eine schematische Darstellung, die die auf Punkte auf weißen Linien 1 und 1' angewendete epipolare Einschränkung zeigt;
6 ist eine schematische Darstellung, die ein Bild eines Ermittlungsbereichs ohne Hindernis darstellt;
7 ist eine schematische Darstellung, die ein Bild eines Ermittlungsbereichs mit beliebigen Hindernissen darstellt;
8 ist eine schematische Darstellung, die eine Parallaxe auf einem Liniensegment in einem Ermittlungsbereich zeigt;
9 ist eine schematische Darstellung, die einen Fall zeigt, wo eine Neigung vor Kameras wahrgenommen wird;
10 ist eine schematische Darstellung, die eine Bildumwandlung in einem Fall zeigt, wo ein Verkehrszeichen auf der Neigung angeordnet ist;
11 ist eine schematische Darstellung, die ein Verfahren zur Berechnung von Neigungsgraden zeigt;
12 ist eine schematische Darstellung, die ein Entscheidungsverfahren während der Neigungsgradberechnung zeigt;
13 ist eine schematische Darstellung, die Korrespondenzpunktpaare in einem Fall zeigt, wo ein Ermittlungsbereich oder ein beliebiger Korrespondenzpunkt verschoben ist; und
14 ist eine schematische Darstellung, die eine Neigungsgradberechnung in einem Fall zeigt, wo ein Ermittlungsbereich oder ein Korrespondenzpunkt verschoben ist.
AUSFÜHRLICHE BESCHREIBUNG
Nachstehend wird eine Ausführungsform der vorliegenden Erfindung mit Bezug auf 1, 2 und 6 bis 14 beschrieben.
1 ist eine schematische Darstellung, die den Aufbau einer Hinderniserkennungsvorrichtung 10 gemäß der vorliegenden Ausführungsform zeigt.
Die Hinderniserkennungsvorrichtung 10 ist mit einem Bildeingabeteil 11, einem Korrespondenzermittlungsteil 12, einem Neigungsgradberechnungsteil 13 und einem Ergebnisbestimmungsteil 14 aufgebaut.
Wenn der Ergebnisbestimmungsteil 14 das Vorhandensein eines Hindernisses bestimmt, kann eine Warnvorrichtung 102 einen Fahrzeugführer oder einen Überwacher warnen. Wenn die Hinderniserkennungsvorrichtung 10 in einem Fahrzeug angeordnet ist, kann ferner ein Fahrzeugkarosseriesteuerungsmittel 103 zum Bremsen vorgesehen sein. Alternativ dazu ist eine Fahrzeugbremsung durch Lenken eine Möglichkeit. In jedem Fall kann eine Kommunikationsvorrichtung 104 oder dergleichen vorgesehen sein, um irgendein Ausgangssignal oder übermitteltes Ergebnis zu empfangen.
In der Hinderniserkennungsvorrichtung 10 werden der Bildeingabeteil 11, der Korrespondenzermittlungsteil 12, der Neigungsgradberechnungsteil 13 und der Ergebnisbestimmungsteil 14 durch computergespeicherte Programme funktionell realisiert.
1. BILDEINGABETEIL 11
Der Bildeingabeteil 11 empfängt Bilder von einer beliebigen Anzahl von Bildaufnahmevorrichtungen 101. In der vorliegenden Ausführungsform sind mehrere Bildaufnahmevorrichtungen 101, beispielsweise eine CCD-Kamera, vorgesehen. Wenn zwei der Vorrichtungen in einem Fahrzeug angeordnet sind, wie in 2 gezeigt, sind diese am vorderen Teil des Fahrzeugs auf der rechten und linken Seite angebracht. Wenn zwei der Vorrichtungen über einer Straße vorgesehen sind, wie in 3 gezeigt, sind diese so vorgesehen, daß sie in die Richtung zeigen, in die sich die Straße erstreckt. Die optischen Achsen dieser beiden Bildaufnahmevorrichtungen 101 sind zueinander parallel.
Der Bildeingabeteil 11 unterzieht die von einer Vielzahl von Bildaufnahmevorrichtungen kommenden Videosignale einer A/D-Umsetzung. Dann wird das Ergebnis der A/D-Umsetzung im Speicher des Bildeingabeteils 11 als digitale Bilder oder Bildfolgen gespeichert. Als Antwort auf eine Anfrage werden die Bilder eines beliebigen Zeitpunkts und beliebigen Bereichs an den Korrespondenzermittlungsteil 12 in der nachfolgenden Stufe ausgegeben.
2. KORRESPONDENZERMITTLUNGSTEIL 12
Der Korrespondenzermittlungsteil 12 führt eine Korrespondenzpunktsuche in bezug auf die von den Bildaufnahmevorrichtungen 101 aufgenommenen und im Bildeingabeteil 11 gespeicherten Bilder durch.
Die Korrespondenzpunktsuche wird insbesondere durchgeführt, um irgendeinen/irgendwelche spezifischen Punkt(e) in der reellen Welt zu finden, die in den von den Kameras aufgenommen Bildern gemeinsam vorkommen. In dieser Ausführungsform werden derartig ermittelte Korrespondenzpunkte zur Berechnung eines Neigungsgrads im Neigungsgradberechnungsteil 13 in der nächsten Stufe verwendet. Die 3D-Strukturrekonstruktion erfolgt hier nicht durch die allgemeine stereoskopische Bildbearbeitung. Daher wird die Korrespondenzpunktsuche nicht unbedingt streng durchgeführt, und jedes einfachere Verfahren, das weniger Berechnungsaufwand erfordert, kann verwendet werden.
Nunmehr wird ein Fall betrachtet, wo Korrespondenzpunkte zwischen einem von der rechten Kamera aufgenommenen und im Bildeingabeteil 11 gespeicherten Bild (nachstehend als ein rechtes Bild bezeichnet) und einem von der linken Kamera gleichzeitig aufgenommen Bild (nachstehend linkes Bild) abgeleitet werden.
2-1. BERECHNUNG DER MERKMALSGRÖßE DES RECHTEN BILDES
Zunächst werden beliebige Pixel oder beliebige Bereiche im rechten Bild hinsichtlich ihrer vorbestimmten Merkmalsgrößen berechnet. Irgendein Pixel oder Bereich mit einer umfangreichen Merkmalsgröße wird als ein Merkmalspunkt des rechten Bildes gewählt.
Hierin bedeutet die "Merkmalsgröße" eine beliebige Information, die für jedes Pixel oder in einem beliebigen Bereich ableitbar ist. Als Merkmalsgröße wird möglicherweise einfach folgendes verwendet: ein Pixelhelligkeitsstärkewert oder eine Farbinformation oder ein beliebiger Skalar oder Vektor, der berechenbar ist aus den Ergebnissen, die durch beliebige Objekterkennung oder einen Bereichssegmentierungsprozeß, zum Beispiel Differenzierungs- oder Integrationsergebnis in Raum oder Zeit, abgeleitet sind, ein beliebiges Filterüberlagerungsergebnis oder Mittelwert- oder Varianzstatistik, oder der berechenbar ist aus Bildern, zum Beispiel Merkmalsgrößen oder Bewegungsgrößen eines Bereichs, die durch diese Ergebnisse abgeleitet sind. In diesem Beispiel ist ein Fall beschrieben, wo die Merkmalsgröße ein Helligkeitsstärkemaß in einer Pixelposition ist.
Hier bezeichnet der "Intensitätsgradient" einen Grad der Helligkeitsstärkeänderung in der Umgebung der Pixel, und je näher an den Grenzbereichen, das heißt Rändern, der Objekte oder Objektstrukturen in den Bildern, um so größer wird der Wert.
Um einen solchen Helligkeitsstärkegrad zu berechnen, kann ein Filter, zum Beispiel ein Sobel-Operator, auf ein Zielbild angewendet werden.
Wenn der Sobel-Operator nur für das Ableiten eines Helligkeitsstärkegrads in der vertikalen Richtung des Bildes verwendet wird, kann die nachfolgende Gleichung 8 verwendet werden.
Hierin ist ein Helligkeitsstärkewert eines Pixels (x, y) I(x, y), D(x, y) ist ein Helligkeitsstärkegradwert in der vertikalen Richtung, und 2M + 1 ist die Filtergröße. Ausgehend vom Pixel (x, y), dessen Absolutwert |D(x, y)| hoch ist, wird eine beliebige Anzahl von Pixeln als die Merkmalspunkte im rechten Bild betrachtet. Was einen bestimmten Schwellwert Th betrifft, so sind als Alternative alle Pixel (x, y), für die |D(x, y)| > Th gilt, die Merkmalspunkte im rechten Bild.
Verschiedene andere Filter können zum Ableiten eines Helligkeitsstärkegrades verwendet werden, einschließlich Laplace-, Robinson- und Canny-Filter, und alle sind ausreichend. Außer einem bekannten Verfahren zum Ableiten eines Helligkeitsstärkegrades gibt es viele Verfahren zur Berechnung der Merkmalsgröße von Bildern. Die Einzelheiten sind beispielsweise in der Nichtpatentliteraturstelle 1 (herausgegeben von Takagi und Shimoda, Image Analysis Handbook, Tokyo University Press, ISBN 4-13-061107-0) beschrieben.
2-2. KORRESPONDENZPUNKTERMITTLUNG IM LINKEN BILD
Als nächstes wird ein Merkmalspunkt im linken Bild berechnet, der mit dem Merkmalspunkt im rechten Bild korrespondiert.
Verfahren zur Berechnung eines Anpassungsgrads zwischen beliebigen Pixeln oder beliebigen Bereichen werden als Anpassung bezeichnet und sind durch direkten Mustervergleich gekennzeichnet. Beim direkten Mustervergleich wird ein Bereich in der Umgebung des Merkmalspunkts im Bild als ein Muster verwendet, und das Muster wird mit einem beliebigen Teil des Ziel-Suchbereichs im Bild verglichen, um einen Bereich zu finden, der eine große Übereinstimmung zeigt.
2-2-1. VERFAHREN UNTER VERWENDUNG DER SAD
In einem Verfahren unter Verwendung der einfachsten SAD (Summe absoluter Differenzen) wird die nachfolgende Gleichung 9 für jedes Pixel (x, y) im Suchbereich gelöst. Das Pixel (x, y), das den kleinsten R(x, y) ergibt, wird als ein Korrespondenzpunkt abgeleitet. Hierin ist ein Musterbereich K, ein Helligkeitsstärkewert eines Musterpixels ist T(i, j) (in dieser Ausführungsform der Bereich in der Umgebung des für das rechte Bild abgeleiteten Merkmalspunkts), und ein Helligkeitsstärkewert des Pixels im Suchbereich ist I(x, y) (in dieser Ausführungsform der für den Merkmalspunkt im linken Bild festgelegte Suchbereich).
Hier befindet sich der Korrespondenzpunkt auf einer Epipolarlinie, wie mit Bezug auf 4 beschrieben. Daher ist der Suchbereich des Korrespondenzpunkts auf die Epipolarlinie begrenzt, wodurch die Berechnungsaufgabe für die Korrespondenzpunktsuche reduziert wird. Wenn die optischen Achsen der Kameras parallel zueinander sind, stimmt ferner die Epipolarlinie mit der Bildzeile überein, was die Korrespondenzpunktsuche erleichtert.
2-2-2. WEITERE VERFAHREN
Es gibt verschiedene weitere Verfahren zum Ableiten von Korrespondenzpunkten, einschließlich eines Verfahrens unter Verwendung der SSD (Summe der Quadratdifferenzen), eines sequentiellen Ähnlichkeitsermittlungsalgorithmus (SSDA), eines normierten Korrelationskoeffizientenverfahrens, Strukturanpassung und dergleichen, und jedes beliebige Verfahren ist anwendbar. Die oben genannte Nichtpatentliteraturangabe 1 zeigt Einzelheiten von gut bekannten Verfahren.
2-2-3. FALL ZUR BERECHNUNG EINER VIELZAHL VON KORRESPONDENZPUNKTEN FÜR EINEN MERKMALSPUNKT
Alternativ kann eine Vielzahl von Korrespondenzpunkten im linken Bild für einen Merkmalspunkt im rechten Bild gesucht werden.
Wie oben beschrieben, wird nach der Korrespondenzpunktsuche durch direkten Mustervergleich unter Verwendung von SAD nur ein Punkt (x, y), der den kleinsten R(x, y) ergibt, als ein Korrespondenzpunkt betrachtet. Hier werden andererseits als Korrespondenzpunkte die Punkte (x', y') und (x'', y'') betrachtet, die beispielsweise den zweit- bzw. drittkleinsten R(x', y') bzw. R(x'', y'') ergeben. Auf diese Weise kann eine beliebige Anzahl von Korrespondenzpunkten im linken Bild für einen Merkmalspunkt im rechten Bild abgeleitet werden.
2-2-4. WEITERE KORRESPONDENZPUNKTSUCHE
Eine solche Korrespondenzpunktsuche ist nicht nur auf die Originalbilder, das heißt Helligkeitsstärkewertbilder, anwendbar, sondern auch auf Bilder im Ergebnis der oben beschriebenen Berechnung einer beliebigen Merkmalsgröße.
3. NEIGUNGSGRADBERECHNUNGSTEIL 13
Der Neigungsgradberechnungsteil 13 verwendet Korrespondenzpunktpaare im rechten und linken Bild, die vom Korrespondenzermittlungsteil 12 abgeleitet worden sind, um einen Neigungsgrad entsprechend einem Neigungswinkel einer Ebene in einen 3D-Raum im Ermittlungsbereich (unten als Ermittlungsebene bezeichnet) festzustellen.
Der "Neigungswinkel" ist hierin ein Winkel zwischen der Straßenebene und der Ermittlungsebene und ist ein Steigungswinkel in bezug auf die Straßenebene mit kleinen Seitenabweichungs- und Querneigungswinkeln. Einzelheiten folgen in der späteren Beschreibung. Man beachte, daß die Straßenebene eine Ebene (Grundebene) ist, die parallel zu den optischen Achsen von zwei Bildaufnahmevorrichtungen 101 ist.
Der Neigungswinkel ist keine Neigung zu einer horizontalen Ebene, sondern eine Neigung zur Straßenebene. Selbst wenn ein Fahrzeug mit der darin angeordneten Bildaufnahmevorrichtung 101 auf einer Straßenebene fährt, die gegen die horizontale Ebene geneigt ist, das heißt Neigung, beträgt der "Neigungswinkel" zwischen der Straßenebene und einer mit dieser parallelen Ebene 0 Grad.
Der Steigungswinkel ist ein Neigungswinkel Θ in der vertikalen Richtung und entsteht durch zwei Bildaufnahmevorrichtungen 101, wie in 9 gezeigt. Der Seitenabweichungswinkel ist hier eine Neigung in der horizontalen Richtung, das heißt, der Seitenabweichungswinkel ist 0 Grad, wenn die Straße gerade ist. Der Querneigungswinkel ist eine Neigung zu einer optischen Achse, das heißt, der Querneigungswinkel ist 0 Grad zur horizontalen Ebene.
Die Begriffe "Neigungswinkel" und "Neigungsgrad" sind unterschiedlich, und ein Neigungsgrad ändert sich in bezug auf einen Neigungswinkel. Einzelheiten werden später beschrieben.
3-1. THEORIE DES NEIGUNGSGRADBERECHNUNGSTEILS 13
Gemäß der affinen GP-Einschränkung in den oben genannten Patentliteraturstellen 1 und 2 (H. Hattori und A. Maki, Stereo without Depth Search and Metric Calibration, in Proc. of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR 2000, S. 177–184, 2000) kann, was die 3D-Koordinaten eines Punkts auf der Straßenebene betrifft, wo ein Ursprungspunkt ein Mittelpunkt zwischen zwei Kameras ist, die Gleichung 7, die die Beziehung von Korrespondenzpunkten zwischen den stereoskopischen Bildern darstellt, viel einfacher ausgedrückt werden. Dies ist anwendbar unter einer Voraussetzung, daß die Koordinatenwerte in der Richtung der optischen Achse der Kameras hinreichend groß für Koordinatenwerte des Bildes in der vertikalen und horizontalen Richtung sind (z >> x, z >> y, wobei z die Richtung der optischen Achse bezeichnet, x die horizontale Richtung des Bildes bezeichnet und y die vertikale Richtung des Bildes bezeichnet).
Das heißt, wenn wir annehmen, daß ein Punkt als ein Ergebnis des Projizierens eines bestimmten Punkts auf der Straßenebene auf das rechte Bild P(u, v) ist und ein mit diesem korrelierender Punkt im linken Bild P'(u', v') ist, wird die Beziehung durch die nachfolgende Gleichung 10 ausgedrückt.
Hierin bezeichnet A eine 2×2-Affintransformationsmatrix, und (t_u, t_v)^T bezeichnet einen Vektor, der die Translation anzeigt. Um diese abzuleiten, werden drei oder mehr Korrespondenzpunktpaare auf der Straßenebene verwendet wie für h in der Gleichung 6. Wenn sie im voraus vor der Hinderniserkennung abgeleitet werden, so lange die Beziehung zwischen den Kameras in Position oder Ausrichtung die gleiche bleibt, müssen sie zur fortlaufenden Hinderniserkennung nicht zweimal abgeleitet werden.
Wenn ferner beide Kameras in der Richtung eines Verschwindungspunkts der Straße ausgerichtet sind und wenn die Drehbewegung um die optische Achse der Kamera klein genug ist, kann A durch die nachfolgende Gleichung 11 genähert werden. Die Affintransformationsmatrix A ist nur von λ abhängig.
Die Positionsverschiebung der Korrespondenzpunkte in der horizontalen Richtung im rechten und linken Bild wird als eine Parallaxe d bezeichnet, und wenn man annimmt, daß d = u' – u, ist die Parallaxe d nur von der Bildkoordinate v abhängig. Das kann wie in der nachfolgenden Gleichung einfach ausgedrückt werden. d = λv + tv (12)
Nummehr wird ein Verfahren unter Verwendung der Beziehung zur lokalen Schätzung von λ betrachtet.
Zunächst wird ein lokaler Ermittlungsbereich bestimmt, und ein Referenzpunkt wird auf o festgelegt. Aus den Koordinaten V_o dieses Punkts wird eine Verschiebung v – v_o von neuem auf v festgelegt. Es wird angenommen, daß der Ermittlungsbereich eine Ebene oder ein Teil einer Ebene ist, und λ und v im Ermittlungsbereich um Δλ bzw. Δv verschoben werden. Die dadurch bewirkte resultierende Parallaxe wird von neuem auf d festgelegt, und die nachfolgende Gleichung wird aufgestellt. d = Δλv + Δd (13)
Der erste Term auf der rechten Seite von Gleichung 13 Δλxv ist von v abhängig, und der zweite Term Δd ist ein durch Δv erzeugtes, aber nicht von v abhängiges Parallaxenelement und ist im lokalen Bereich konstant.
Wenn zwei oder mehr Korrespondenzpunktpaare P_i(u_i, v_i), P_i'(u_i', v_i') (i = 1 ...N) verfügbar sind, kann der Schwankungswert Δλ im Ermittlungsbereich λ abgeleitet werden. Im einzelnen werden, wenn Δλ und Δv nicht bekannt sind, die Parallaxe d_i = u_i' – u_i und der resultierende Wert v_i in die Gleichung 13 eingesetzt, und die simultanen linearen Gleichungen werden infolgedessen gelöst. Der derartig abgeleitete Schwankungswert Δλ ist der "Neigungsgrad", wie später beschrieben wird.
Wenn die Merkmalspunkte alle auf der Straßenebene liegen, wird angenommen, daß die Koordinaten der Korrespondenzpunktpaare die Gleichung 10 erfüllen, und der Schwankungswert Δλ ist annähernd gleich 0. Wenn dagegen die Merkmalspunkte nicht auf der Straßenebene, sondern auf einem Hindernis liegen, ist die Gleichung 10 nicht erfüllt und |Δλ| >> 0.
Der Schwankungswert Δλ an sich ist ein Faktor zur Bestimmung, ob der Ermittlungsbereich ein Hindernis aufweist oder nicht.
3-2. BESCHREIBUNG DURCH VERANSCHAULICHUNG
Mit Bezug auf die schematischen Zeichnungen wird das Prinzip des Neigungsgradberechnungsteils 13 beschrieben.
3-2-1. BERECHNUNG DES SCHWANKUNGSWERTS Δλ
6 ist eine schematische Darstellung, die einen Fall zeigt, wo Bildbereiche R und R' im rechten und linken Bild als die beiden Ermittlungsbereiche zuvor festgelegt worden sind. Beide Ermittlungsbereiche weisen jeweils weiße Linien und ein Verkehrszeichen auf, aber kein Hindernis.
Im rechten Bildbereich R sind sechs Merkmalspunkte P₁ bis P₆ festgestellt worden, und für jeden davon ist ein Korrespondenzpunkt im linken Bildbereich R' abgeleitet worden, nämlich die Punkte P₁' bis P₆'.
Ebenso zeigt 7 ein beispielhafres Ergebnis der Korrespondenzpunktsuche im Bereich R' in bezug auf Merkmalspunkte im Bereich R mit einem Hindernis.
Zunächst betrachten wir in 6 ein Liniensegment P₂P₅ im Bereich R und das Korrespondenzliniensegment P₂'P₅' im Bereich R'. 8 zeigt eine vergrößerte Version dieser Liniensegmente, nämlich s und s₁', wobei s mit P₂P₅ und s₁' mit P₂'P₅' korrespondiert. Das Liniensegment s' im linken Bereich R' ist ein Ergebnis der Umwandlung des Liniensegments s durch die Affintransformationsgleichung 10 auf Grundlage der Näherung der Gleichung 11. Der Grund, warum das Liniensegment s' im Bild eine andere Neigung als das Liniensegment s hat, ist, daß |λ| nicht 0, sondern groß ist. Durch die Störung, die durch die Verschiebung des Referenzpunkts o oder Verschwindungspunkts bewirkt wird, korrespondiert das Liniensegment s tatsächlich mit einem Liniensegment s₁', das sich an einer Position befindet, die um eine Konstante Δd von dieser verschoben ist. Daher führt das Lösen der Gleichung 13, die von den Koordinaten der Merkmalspunkte und ihrem Korrespondenzpunkt, das heißt P₂, P₅, P₂' und P₅', abgeleitet ist, zu einer Lösung, bei der Δλ annähernd gleich 0 ist.
Als nächstes betrachten wir in 7 ein Liniensegment P₁P₃ im Bereich R und das Korrespondenzliniensegment P₁'P₃' im Bereich R'. 8 zeigt eine vergrößerte Version dieser Liniensegmente, nämlich s und s₂'. In diesem Fall befindet sich das Liniensegment s nicht auf der Straßenebene, und daher hat das mit ihm korrespondierende Liniensegment s₂' einen anderen Winkel als das Liniensegment s', das dadurch abgeleitet ist, daß das Liniensegment s einer Affintransformation unterzogen worden ist. Das heißt, um das Liniensegment s in s₂' zu transformieren, sollte die Transformation so ausgeführt werden, daß Punkte auf dem Liniensegment um einen Betrag proportional zu v seitlich verschoben werden. Und das Lösen der Gleichung 13 unter Verwendung der Koordinaten von P₁, P₃, P₁' und P₃' führt zu Δλ, das die Bedingung |Δλ| >> 0 erfüllt. In diesem Beispiel wird angenommen, daß der Vorsprung und die Vertiefung hinter dem Hindernis (in Fahrtrichtung) hinreichend kleiner sind als die Entfernung von den Kameras, und eine Hindernisoberfläche wird als eine Ebene (das heißt Ermittlungsebene) und annähernd senkrecht zu den optischen Achsen der Kameras angesehen. Unter solchen Annahmen werden die Liniensegmente s und s₂' auf dem Ursprungsbild annähernd parallel zueinander, wodurch Δλ annähernd gleich –λ wird (dabei ist A eine Einheitsmatrix).
Oben ist ein Fall der Berechnung von Δλ unter Verwendung eines Liniensegments zwischen zwei Korrespondenzpunkten auf der Ermittlungsebene im Ermittlungsbereich beschrieben.
3-2-2. BERECHNUNG DES NEIGUNGSWINKELS VON DER GRUNDEBENE DER OBJEKTEBENE
Der Affintransformationsparameter wird unter Verwendung einer Tatsache abgeleitet, daß die Parallaxe d in der Gleichung 13 nur von einer v-Koordinate eines Merkmalspunkts abhängig ist. Das entspricht der Ableitung eines Steigungswinkels (das heißt Neigungswinkel) von einer Straßenebene (das heißt Grundebene) im Ermittlungsbereich, wobei der Ermittlungsbereich eine Ebene im 3D-Raum oder ein Teil davon ist (dies ist die Ermittlungsebene). Hierin werden bei der Ermittlungsebene der Seitenabweichungs- und Querneigungswinkel, aber nicht der Steigungswinkel als hinreichend klein angenommen.
Wir betrachten nummehr 9 und 10, wobei diese beschrieben werden.
Der Neigungswinkel der Ermittlungsebene entspricht θ in 9. Eine Näherung, zum Beispiel die Gleichung 11, ist auf einen Fall anwendbar, wo sich nur der Neigungswinkel Θ ändert. Wenn dies der Fall ist, bedeutet die Gleichung 10, daß der rechteckige Ermittlungsbereich im rechten Bild in ein Parallelogramm im linken Bild umgewandelt wird, wie in 10 gezeigt. Eine Verschiebung, die während einer solchen Transformation auftritt, ist unmittelbar von der Größe von λ + Δλ abhängig, und die tatsächliche Ursache dafür ist die Größe von θ. Wenn, wie in 9 gezeigt, ein Verkehrszeichen auf der Neigung in Fahrtrichtung ist und wenn der Ermittlungsbereich rund um das Verkehrszeichen liegt, wird der Ermittlungsbereich in ein Parallelogramm eines Übergangszustands umgewandelt, wobei davon ausgegangen wird, daß die Straße horizontal und das Hindernis vertikal ist. In Abhängigkeit von der Größe von θ nimmt Δλ einen Zwischenwert zwischen 0 und –λ an. Folglich wird durch Lösung der Gleichung 13 der Wert Δλ abgeleitet, der eine monotone Änderung in Abhängigkeit von der Größe des Neigungswinkels θ zeigt.
Ferner wird im oben genannten Beispiel das Rechteck unter Verwendung der Näherung der Gleichung 11 in ein Parallelogramm umgewandelt. Folglich sind die Merkmalspunkte und Korrespondenzpunkte nicht unbedingt auf den geraden Linien ausgerichtet, sondern müssen sich nur auf einer Ebene befinden.
Daher kann im Beispiel in 6 durch Lösen der Gleichung 13, die von den Paaren von Merkmalspunkten und Korrespondenzpunkten P₁,... P₆, P₁',... P₆' abgeleitet ist, Δλ mit höherer Genauigkeit im Vergleich zu einem Fall, wenn ein Liniensegmentpaar verwendet wird, abgeleitet werden. Selbst wenn die Merkmalspunkte und Korrespondenzpunkte auf einem Hindernis mit Vorsprüngen und Vertiefungen festgestellt werden, wird ein solches Hinderis als eine Ebene betrachtet, wenn die Entfernung von der Kamera groß ist. Folglich kann unter Verwendung jedes Merkmalspunkts und Korrespondenzpunkts ein Neigungswinkel der Ermittlungsebene (Hindernisebene in 10) annähernd abgeleitet werden.
Somit ist Δλ eine Größe, die in Abhängigkeit vom Neigungswinkel θ der Ermittlungsebene abgeleitet ist, und Δλ kann als der Neigungsgrad an den Ergebnisbestimmungsteil 14 in der nächsten Stufe weitergeleitet werden.
Hier ist als der Neigungsgrad ein eindeutiger Wert, der von Δλ abgeleitet werden kann (zum Beispiel |Δλ|), ausreichend.
3-2-3. WEITERES BERECHNUNGSVERFAHREN FÜR Δλ
Wenn der Ermittlungsbereich im allgemeinen m Merkmalspunkte und für jeden von diesen maximal n Korrespondenzpunkte aufweist, können maximal mxn Korrespondenzpunktpaare abgeleitet werden. Das Lösen der Gleichung 13, die von einer Vielzahl von Paaren abgeleitet ist, führt zu Δλ. Die Gleichung kann unter Verwendung von zwei Korrespondenzpunktpaaren gelöst werden, aber drei oder mehr Paare machen die Gleichung überflüssig. Daher ist ein statistisches Verfahren, zum Beispiel das der kleinsten Quadrate, effektiv, um Δλ mit höherer Genauigkeit abzuleiten.
Ferner muß mit einer Technik wie der Hough-Transformation die Gleichung nicht mehr gelöst werden, um Δλ abzuleiten.
Dies ist mit Bezug auf 11 und 12 beschrieben.
Das Lösen der Gleichung 13 entspricht dem Ableiten eines Schnittpunkts von Linien, die von einer Vielzahl von Korrespondenzpunktpaaren abgeleitet sind. Die Gleichung 13 wird hier als eine gerade Linie im Raum Δd – Δλ angesehen.
Wie in 12 gezeigt, ist der Raum Δd – Δλ in eine Vielzahl von quadratischen Zellen geteilt, und wenn eine Linie durch die Zellen verläuft, werden die Korrespondenzzellen im Wert erhöht. Solch ein Prozeß wird als Entscheidungsprozeß bezeichnet. Nachdem jede mögliche Linie einem solchen Entscheidungsprozeß unterworfen worden ist, führt die Ermittlung einer Zellposition mit dem größten Wert zu Δλ. Ein solches Verfahren ist effektiv, selbst wenn sich nicht alle Linien in einem Punkt schneiden, und wenn eine Vielzahl von Maximalwerten ermittelt wird, führt die Zellposition mit dem größten Wert beispielsweise zu Δλ.
Ebenso kann mit Bezug auf die rechte Seite von 12 nach dem Entscheidungsprozeß durch Berechnung eines Profils durch eine Addition von Zellwerten nur von denen, die größer als ein bestimmter Wert in der Querrichtung sind, die Verteilung von Δλ bekannt sein. Das Verteilungsergebnis kann an den nächsten Ergebnisbestimmungsteil 14 als die Verteilung der Neigungsgrade weitergeleitet werden.
3-3. EIN FALL, WO SICH DER ERMITTLUNGSBEREICH ÜBER EIN HINDERNIS UND EINE STRAßENEBENE ERSTRECKT
Nunmehr wird ein Fall betrachtet, wo, wie in 13 gezeigt, sich ein Ermittlungsbereich über ein Hindernis und eine Straßenebene erstreckt und Merkmalspunkte und Korrespondenzpunkte sowohl auf dem Hindernis (P₁, P₃, P₆, P₁', P₃' und P₆') als auch auf der Straßenebene (P₂, P₄, P₂' und P₄') ermittelt werden oder die Ermittlung einiger Korrespondenzpunkte nicht funktioniert hat(P₅ und P₅').
Wenn man annimmt, daß gerade Linien, die von den Paaren P₁ ... P₆ und P₁' ... P₆' zum Raum Δλ – Δd gezogen worden sind, die Linien 1 bis 6 in 14 sind, befindet sich der sich ergebende Schnittpunkt nahe Δλ = –λ. Dieser Schnittpunkt ist von anderen, die von Korrespondenzpunktpaaren auf anderen Straßenebenen oder von falschen Korrespondenzpunktpaaren abgeleitet sind, unterscheidbar.
Wenn ferner die Korrespondenzpunktpaare auf dem Hindernis in der Anzahl vorherrschend sind, wird der Entscheidungswert des Schnittpunkts nach der Hough-Transformation hoch.
Wenn ein solches Kriterium wie eine Überschneidung näher an Δλ = -λ ist oder ihr Entscheidungswert groß ist, können folglich nur die sich auf dem Hindernis befindlichen Korrespondenzpunktpaare unterschieden werden. Bei dem Beispiel in 13 können nur die Punkte P₁, P₃, P₆, P₁', P₃' und P₆' durch Unterscheidung als zum Hindernis zugehörig ermittelt werden.
4. ERGEBNISBESTIMMUNGSTEIL 14
Der Ergebnisbestimmungsteil 14 bezieht sich auf den vom Neigungsgradberechnungsteil 13 abgeleiteten Neigungsgrad des Ermittlungsbereichs oder seine Verteilung und bestimmt, ob der Ermittlungsbereich ein Hindernis aufweist oder nicht.
Das vom Neigungsgradberechnungsteil 13 berechnete Δλ zeigt eine monotone Änderung in Abhängigkeit vom Neigungswinkel des Ermittlungsbereichs. Wenn die Ebene im Ermittlungsbereich fast parallel zur Grundebene ist, ist Δλ annähernd gleich 0, und wenn sie senkrecht ist, ist Δλ annähernd gleich –λ.
Somit wird auf die einfachste Weise ein Schwellwert im voraus so festgelegt, daß die in 9 gezeigte Neigung ohne Hindernis akzeptiert wird, und es kann durch Vergleich zwischen Δλ und dem Schwellwert bestimmt werden, ob dort ein Hindernis vorliegt.
Zum Beispiel wird für einen bestimmten Schwellwert th, wenn |Δλ| > th erfüllt ist, das Vorhandensein eines Hindernisses bestimmt.
Wenn der Neigungsgrad als Verteilung verfügbar ist, kann außerdem eine statistische Bestimmung unter Verwendung der Verteilung angewendet werden, um eine solche Bestimmung durchzuführen.
Mit Bezug auf die rechte Seite von 12 ist die Fläche über th p₁, und die Fläche unter th ist p₂, und es wird beispielsweise das Vorhandensein eines Hindernisses bestimmt, wenn p₁ > p₂ erfüllt ist.
Wenn man die Verteilung als Wahrscheinlichkeitsverteilung betrachtet, kann eine A-posteriori-Wahrscheinlichkeit p des Vorhandenseins eines Hindernisses beispielsweise durch p₁/(p₁ + p₂) abgeleitet werden, und wenn p > 0,5 erfüllt ist, kann das Vorhandensein eines Hindernisses bestimmt werden.
Wie oben beschrieben, kann unter Verwendung eines vom Neigungsgradberechnungsteil 13 abgeleiteten Neigungsgrads eines Ermittlungsbereichs oder seiner Verteilung durch ein beliebiges Verfahren bestimmt werden, ob ein Hindernis vorliegt.
Somit können unter Verwendung einer Vielzahl von in einem Fahrzeug angeordneten oder über einer Straße angebrachten Kameras, selbst wenn die Beziehung zwischen der Straßenebene und den Kameras sich ständig in der relativen Position oder Ausrichtung durch Kameravibration oder eine Änderung der Straßenneigung ändert, auf der Straße befindliche Hindernisse, zum Beispiel andere vorausfahrende Fahrzeuge, geparkte Fahrzeuge und Fußgänger auf der Straße, ermittelt werden, ohne daß diese mit Texturen, einschließlich weißer Linien, Verkehrszeichen, Farbe, Straßenverfärbungen und Schatten von Objekten am Straßenrand, die alle die Fahrt des Fahrzeugs nicht behindern, verwechselt werden. Ferner können unnötige Vorgänge, zum Beispiel fehlerhafte Warnung oder unnötige Fahrzeugsteuerung, in hohem Maß verringert werden.
(MODIFIKATIONSBEISPIEL 1)
Die vorliegende Erfindung ist hier nicht auf die oben genannte Ausführungsform begrenzt, und es ist verständlich, daß zahlreiche weitere Modifikationen und Änderungen denkbar sind, ohne vom Schutzbereich der Erfindung abzuweichen.
Zum Beispiel ist der Ermittlungsbereich in der Ausführungsform ein Quadrat, aber die Form ist nicht darauf beschränkt, und jede beliebige vorbestimmte Form ist geeignet.
(MODIFIKATIONSBEISPIEL 2)
Wie oben beschrieben, sind die Ermittlungsbereiche R und R' im rechten und linken Kamerabild vorbestimmt. Alternativ kann ein in der Patentliteraturstelle 3 (JP-A-2001-154569) beschriebenes Hinderniserkennungsverfahren für eine Vorverarbeitung verwendet werden, und ein dabei abgeleitetes Ergebnis kann verwendet werden, um Ermittlungsbereiche festzulegen. Um Ermittlungsbereiche festzulegen, kann ein Fahrstreifenerkennungsverfahren verwendet werden, und ein dadurch abgeleitetes Ergebnis kann nach einem vorbestimmten Verfahren verwendet werden.
(MODIFIKATIONSBEISPIEL 3)
Selbst wenn kein Ermittlungsbereich im voraus festgelegt ist, können das rechte und linke Kamerabild abgetastet werden, und an jeder Abtastposition kann der Arbeitsablauf der Ausführungsform für einen ähnlichen Objekterkennungsprozeß ausgeführt werden.
(MODIFIKATIONSBEISPIEL 4)
In der vorliegenden Ausführungsform sind die Gleichung 10 und andere Formeln und Zeichnungen, die sich auf die Beziehungen zwischen den Bildern beziehen, zur Umkehrung des rechten Bildbereichs in den linken Bildbereich vorgesehen. Diese sind mit Sicherheit keine Einschränkung, und alle ermöglichen den Wechsel vom linken Bild zum rechten Bild.
(MODIFIKATIONSBEISPIEL 5)
Oben ist ein Fall beschrieben, wo zwei der Bildaufnahmevorrichtungen, zum Beispiel Kameras, vorgesehen sind. Die Anzahl der Vorrichtungen ist nicht eingeschränkt, und selbst wenn drei oder mehr der Bildaufnahmevorrichtungen vorgesehen sind, ist die Ausführungsform auf eine Kombination von beliebigen zwei Bildaufnahmevorrichtungen anwendbar. Wenn dies der Fall ist, können die von jeder möglichen Kombination abgeleiteten Ergebnisse miteinander integriert werden, um die Objekterkennungsvorrichtung mit einer höheren Genauigkeit zu betreiben.
(MODIFIKATIONSBEISPIEL 6)
Die Straßenebene wird als eben angenommen. Die vorliegende Ausführungsform ist anwendbar, selbst wenn die Straßenoberfläche gekrümmt ist, sie kann partiell geteilt werden, um sie an die Ebene anzunähern.
(MODIFIKATIONSBEISPIEL 7)
Die Aufgabe der vorliegenden Erfindung ist nicht darauf beschränkt, das sichere Fahren zu unterstützen und das automatische Fahren des Fahrzeugs zu realisieren, oder darauf, die Anzahl der auf der Straße vorbeifahrenden Fahrzeuge zu zählen oder diese vorbeifahrenden Fahrzeuge in ihrer Fahrt zu beobachten. Das Bereitstellen der Kameras am hinteren Teil des Fahrzeugs ermöglicht eine Beobachtung nach hinten, und für Flugzeuge oder Hubschrauber wird die Objekterkennung während des Startens und Landens ermöglicht. Das Bereitstellen der Kameras in Industrie- oder Haushaltsrobotern ermöglicht auch die Objekterkennung oder -beobachtung für einen automatischen Betrieb. Somit ist die vorliegende Erfindung in vielen verschiedenen Anwendungen anwendbar.
INDUSTRIELLE ANWENDBARKEIT
Wie aus der vorstehenden Beschreibung bekannt ist, kann die Objektermittlung gemäß der vorliegenden Erfindung, ganz gleich, an welcher Straße eine Hinderniserkennungsvorrichtung aufgestellt ist, oder ganz gleich, auf welcher Straße ein Fahrzeug mit der darin angeordneten Vorrichtung fährt, mit hoher Genauigkeit erreicht werden, und zwar ungeachtet der Vibration während des Betriebs der Vorrichtungen oder des Führens des Fahrzeugs. Die vorliegende Erfindung verhindert insbesondere erfolgreich die herkömmlichen Probleme des Verringerns der Hinderniserkennungsgenauigkeit durch häufige Falscherkennung, insbesondere bei der Textur auf der Straßenebene, zum Beispiel weiße Linien, Verkehrszeichen, Farbe, Straßenverfärbungen, Schatten von Objekten am Straßenrand und von Fahrzeugen und dergleichen. Folglich können nur echte Hindernisse richtig erkannt werden, wobei viele Auswirkungen praktischen Nutzen bringen.

Claims

Vorrichtung zur Hinderniserkennung (10) mit einem Bildeingabemittel (11), gekennzeichnet durch: mindestens zwei Bildaufnahmevorrichtungen (101), von denen jede ein Bild eines voreingestellten gemeinsamen Ermittlungsbereichs aufnimmt, und wobei die Vorrichtung aus den unter Verwendung der Bildaufnahmevorrichtungen aufgenommenen Stereobildern bestimmt, ob sich ein Hindernis im Ermittlungsbereich befindet oder nicht, wobei das Bildeingabemittel (11) zum Empfangen des Bildes von jeder der Bildaufnahmevorrichtungen bestimmt ist; wobei die Vorrichtung ferner umfasst: Übereinstimmungserkennungsmittel (12) zum Ableiten einer Vielzahl von Paaren übereinstimmender Punkte in den Ermittlungsbereichen der beiden empfangenen Stereobilder; Neigungsgradberechnungsmittel (13) zum Berechnen eines Neigungsgrads entsprechend einem Neigungswinkel zwischen einer Grundebene, die parallel zu den optischen Achsen der Bildaufnahmevorrichtungen ist, und einer Ermittlungsebene mit der abgeleiteten Vielzahl übereinstimmender Punkte in den Stereobildern; und Ergebnisbestimmungsmittel (14) zum Bestimmen, daß ein Hindernis vorhanden ist, wenn der Neigungsgrad der Ermittlungsebene größer als ein vorbestimmter Wert ist.
Vorrichtung zur Hinderniserkennung nach Anspruch 1, wobei das Neigungsgradberechnungsmittel (13) den Neigungswinkel als einen Steigungswinkel zwischen der Grundebene und der Ermittlungsebene und einen Parameter einer Affintransformationsmatrix, der eine Beziehung zwischen den übereinstimmenden Punkten in den Bildern anzeigt, oder einen von dem Parameter abgeleiteten eindeutigen Wert als einen Neigungsgrad betrachtet.
Vorrichtung zur Hinderniserkennung nach Anspruch 2, wobei das Neigungsgradberechnungsmittel (13) den Neigungsgrad durch Lösen einer Gleichung auf Grundlage einer Parallaxe und vertikaler Positionen der Vielzahl von Paaren übereinstimmender Punkte berechnet.
Vorrichtung zur Hinderniserkennung nach Anspruch 1, wobei das Neigungsgradberechnungsmittel (13) den Neigungsgrad durch Entscheidungskoordinatenwerte der Vielzahl von Paaren übereinstimmender Punkte in einem Entscheidungsraum auf der Grundlage einer Gleichung berechnet, die durch die Koordinatenwerte erfüllt wird.
Vorrichtung zur Hinderniserkennung nach Anspruch 1, wobei das Neigungsgradberechnungsmittel (13) aus der Vielzahl von Paaren übereinstimmender Punkte nur das Paar übereinstimmender Punkte als ein Hindernis erkennt, das einen Neigungsgrad ergibt, der einen hohen Wert hat.
Verfahren zur Hinderniserkennung unter Verwendung eines Eingabebildes, gekennzeichnet durch Verwendung von mindestens zwei Bildaufnahmevorrichtungen (101), von denen jede ein Bild eines voreingestellten gemeinsamen Ermittlungsbereichs aufnimmt, um aus den unter Verwendung der Bildaufnahmevorrichtungen aufgenommenen Stereobildern zu bestimmen, ob sich ein Hindernis im Ermittlungsbereich befindet, wobei das Verfahren umfasst: einen Bildempfangsschritt zum Empfangen des Bildes von jeder der Bildaufnahmevorrichtungen; einen Korrelationsermittlungsschritt zum Ableiten einer Vielzahl von Paaren übereinstimmender Punkte in den Ermittlungsbereichen der beiden Stereobilder; einen Neigungsgradberechnungsschritt zum Berechnen eines Neigungsgrads entsprechend einem Neigungswinkel zwischen einer Grundebene, die parallel zu den optischen Achsen der Bildaufnahmevorrichtungen ist, und einer Ermittlungsebene mit der abgeleiteten Vielzahl übereinstimmender Punkte in den Stereobildern; und einen Ergebnisbestimmungsschritt zum Bestimmen des Vorhandenseins eines Hindernisses, wenn der Neigungsgrad der Ermittlungsebene größer als ein vorbestimmter Wert ist.
Verfahren zur Hinderniserkennung nach Anspruch 6, wobei im Neigungsgradberechnungsschritt der Neigungswinkel als ein Steigungswinkel zwischen der Grundebene und der Ermittlungsebene betrachtet wird und ein Parameter einer Affintransformationsmatrix, der eine Beziehung zwischen den übereinstimmenden Punkten in den Bildern anzeigt, oder ein von dem Parameter abgeleiteter eindeutiger Wert als ein Neigungsgrad betrachtet wird.
Verfahren zur Hinderniserkennung nach Anspruch 7, wobei im Neigungsgradberechnungsschritt der Neigungsgrad durch Lösen einer Gleichung auf der Grundlage einer Parallaxe und vertikaler Positionen der Vielzahl von Paaren übereinstimmender Punkte berechnet wird.
Verfahren zur Hinderniserkennung nach Anspruch 6, wobei im Neigungsgradberechnungsschritt der Neigungsgrad durch Entscheidungskoordinatenwerte der Vielzahl von Paaren übereinstimmender Punkte in einem Entscheidungsraum auf der Grundlage einer Gleichung berechnet wird, die durch die Koordinatenwerte erfüllt wird.
Verfahren zur Hinderniserkennung nach Anspruch 6, wobei im Neigungsgradberechnungsschritt aus der Vielzahl von Paaren übereinstimmender Punkte nur das Paar übereinstimmender Punkte als ein Hindernis erkannt wird, das einen Neigungsgrad ergibt, der einen hohen Wert hat.
Programm zur Realisierung eines Verfahrens zur Hinderniserkennung durch Ausführung mittels Computer unter Verwendung eines Eingabebildes, gekennzeichnet durch Verwendung von mindestens zwei Bildaufnahmevorrichtungen, von denen jede ein Bild eines voreingestellten gemeinsamen Ermittlungsbereichs aufnimmt, und wobei aus den unter Verwendung der Bildaufnahmevorrichtungen aufgenommenen Stereobildern bestimmt wird, ob der Ermittlungsbereich ein Hindernis aufweist oder nicht, wobei das Programm umfasst: eine Bildeingabefunktion zum Empfangen der Stereobilder von den Bildaufnahmevorrichtungen; eine Übereinstimmungserkennungsfunktion zum Ableiten einer Vielzahl von Paaren übereinstimmender Punkte in den Ermittlungsbereichen der empfangenen Stereobilder; eine Neigungsgradberechnungsfunktion zum Berechnen eines Neigungsgrads entsprechend einem Neigungswinkel zwischen einer Grundebene, die parallel zur optischen Fläche der Bildaufnahmevorrichtungen ist, und einer Ermittlungsebene mit der abgeleiteten Vielzahl übereinstimmender Punkte in den Stereobildern; und eine Ergebnisbestimmungsfunktion zum Bestimmen des Vorhandenseins eines Hindernisses, wenn der Neigungsgrad der Ermittlungsebene größer als ein vorbestimmter Wert ist.
Programm des Verfahrens zur Hinderniserkennung nach Anspruch 11, wobei die Neigungsgradberechnungsfunktion den Neigungswinkel als einen Steigungswinkel zwischen der Grundebene und der Ermittlungsebene und einen Parameter einer Affintransformationsmatrix, der eine Beziehung zwischen den übereinstimmenden Punkten in den Stereobildern anzeigt, oder einen von dem Parameter abgeleiteten eindeutigen Wert als einen Neigungsgrad betrachtet.
Programm des Verfahrens zur Hinderniserkennung nach Anspruch 12, wobei die Neigungsgradberechnungsfunktion den Neigungsgrad durch Lösen einer Gleichung auf Grundlage einer Parallaxe und vertikaler Positionen der Vielzahl von Paaren übereinstimmender Punkte berechnet.
Programm des Verfahrens zur Hinderniserkennung nach Anspruch 11, wobei die Neigungsgradberechnungsfunktion den Neigungsgrad durch Entscheidungskoordinatenwerte der Vielzahl von Paaren übereinstimmender Punkte in einem Entscheidungsraum auf Grundlage einer Gleichung berechnet, die durch die Koordinatenwerte erfüllt wird.
Programm des Verfahrens zur Hinderniserkennung nach Anspruch 11, wobei die Neigungsgradberechnungsfunktion aus der Vielzahl von Paaren übereinstimmender Punkte nur das Paar übereinstimmender Punkte als ein Hindernis erkennt, das einen Neigungsgrad ergibt, der einen hohen Wert hat
Aufzeichnungsmedium, das ein Programm zur Realisierung eines Verfahrens zur Hinderniserkennung durch Ausführung mittels Computer unter Verwendung eines Eingabebildes aufgezeichnet hat, gekennzeichnet durch Verwendung von mindestens zwei Bildaufnahmevorrichtungen, von denen jede ein Bild eines voreingestellten gemeinsamen Ermittlungsbereichs aufnimmt, und wobei aus den unter Verwendung der Bildaufnahmevorrichtungen aufgenommenen Stereobildern bestimmt wird, ob der Ermittlungsbereich ein Hindernis aufweist oder nicht, wobei das Programm umfasst: eine Bildeingabefunktion zum Empfangen der Stereobilder von den Bildaufnahmevorrichtungen; eine Übereinstimmungserkennungsfunktion zum Ableiten einer Vielzahl von Paaren übereinstimmender Punkte in den Ermittlungsbereichen der empfangenen Stereobilder; eine Neigungsgradberechnungsfunktion zum Berechnen eines Neigungsgrads entsprechend einem Neigungswinkel zwischen einer Grundebene, die parallel zu den optischen Achsen der Bildaufnahmevorrichtungen ist, und einer Ermittlungsebene mit der abgeleiteten Vielzahl übereinstimmender Punkte in den Stereobildern; und eine Ergebnisbestimmungsfunktion zum Bestimmen des Vorhandenseins eines Hindernisses, wenn der Neigungsgrad der Ermittlungsebene größer als ein vorbestimmter Wert ist.