DE60207655T2

DE60207655T2 - Vorrichtung zum Anzeigen der Umgebung eines Fahrzeuges und System zur Bildbereitstellung

Info

Publication number: DE60207655T2
Application number: DE60207655T
Authority: DE
Inventors: Satoshi Neyagawa-shi Sato; Masamichi Hirakata-shi Nakagawa; Shusaku Sagamihara-shi Okamoto; Atsushi Nara-shi Morimura; Yoshihiko Ikoma-shi Matsukawa; Kunio Kadoma-shi Nobori
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp
Priority date: 2001-09-07
Filing date: 2002-09-06
Publication date: 2006-06-08
Anticipated expiration: 2022-09-07
Also published as: EP1291668B1; US7176959B2; ATE311725T1; CN1406790A; US20030076414A1; EP1291668A3; EP1291668A2; DE60207655D1; CN1257070C

Description

HINTERGRUND DER ERFINDUNG
Die vorliegende Erfindung bezieht sich auf eine Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs, zum Anzeigen der Umgebung eines Fahrzeugs als ein Bild, und bezieht sich, insbesondere, auf eine Technologie, die es dem Benutzer ermöglicht, die Umgebungen eines Fahrzeugs einfach und genau für ein sicheres Fahren zu erkennen.
In herkömmlichen, allgemeinen Vorrichtungen zum Anzeigen der Umgebung eines Fahrzeugs werden Bilder der Umgebungen eines Fahrzeugs mit einer Kamera, oder mit mehreren Kameras, aufgenommen und die aufgenommenen Bilder werden so transformiert, dass die Situation um das Fahrzeug herum durch ein Bild dargestellt wird. Zum Beispiel ist in der Japanischen Patentveröffentlichung No. 62-16073 (erster Stand der Technik) eine Vielzahl von Kameras an einem Fahrzeug befestigt. Video-Ausgänge von den Kameras werden zu Koordinaten in einem ebenen Koordinatensystem, wobei das Fahrzeug in der Mitte positioniert ist, geändert, um so als ein Bild synchronisiert zu werden, so dass der Fahrer die Situation um das Fahrzeug herum auf einen Blick erkennen kann.
In der Japanischen Patentoffenlegung No. 7-223488 (zweiter Stand der Technik) werden, bei der Präsentation der Umgebungen eines Fahrzeugs dem Benutzer, Objekte in den Umgebungen im Voraus erfasst, und ein perspektivischer Anzeigelevel wird für ein Basisbild, das die Umgebungen des Fahrzeugs darstellt, eingestellt. Zusätzlich werden Bildsymbole, wie sie in 37 dargestellt sind, in einer Datenbank für die jeweiligen Objekte angezeigt, mit Risiken hervorhebenden Informationen, die dazu hinzugefügt sind. Mit dieser Anzeige kann der Benutzer einfach die Umgebungen des Fahrzeugs erkennen. Die Japanische Patentveröffentlichung JP59120877 offenbart eine Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs, die Kameras, eine Hindernis-Erfassungseinrichtung und eine Bild-Verarbeitungseinrichtung aufweist.
In den herkömmlichen Vorrichtungen zur Anzeige der Umgebung von Fahrzeugen, beschrieben vorstehend, muss, wenn ein in dem Sichtpunkt transformiertes Bild von Bilddaten, erhalten von einer Kamera, und dergleichen, unter Verwendung einer Perspektiven-Transformation, erzeugt werden soll, eine Ebene für die perspektivische Transformation geschaffen werden. In dem ersten Stand der Technik wird eine Straßenoberfläche als die Perspektiven-Projektionsebene unter der Annahme verwendet, dass keine dreidimensionalen Objekte, die eine Höhen-Komponente haben, um ein Fahrzeug herum existieren. Dieser Typ einer perspektivischen Transformation, der die Straßenoberfläche verwendet, wird als Straßenflächen-Projektion bezeichnet. Bei dieser Transformation entsteht allerdings, wenn ein dreidimensionales Objekt, das eine Höhen-Komponente besitzt, um ein Fahrzeug herum existiert, eine Diskrepanz zwischen den Fakten und der Annahme, und eine Verzerrung wird in dem Bild, erhalten als eine Folge der Straßenflächen-Projektion, erzeugt.
38 stellt ein Beispiel einer Platzierung von acht Kameras (Kameras 0 bis 8) an einem Fahrzeug 1 (nachfolgend wird ein Fahrzeug, an dem eine Kamera befestigt ist, als ein Fahrzeug des Benutzers bezeichnet), und Beispiele von Bildern, die mit den Kameras 0 bis 8 (Kamerabilder) aufgenommen sind, dar. 39 zeigt ein Bild der Umgebungen des Fahrzeugs, dargestellt in 38. 40 ist ein Bild, erhalten durch Durchführen einer Straßenflächen-Projektion unter Verwendung der Bilder der acht Kameras, dargestellt in 38. Es ist anzumerken, dass es nur schwer möglich ist, ein Bild des Fahrzeugs 1 des Benutzers selbst von den Kamerabildern, dargestellt in 38, zu erhalten, wobei eine Darstellung des Fahrzeugs 1 des Benutzers in das Bild, dargestellt in 40, zur Vereinfachung eingepasst ist.
Wie anhand eines Vergleichs der 40 mit der 39 festgestellt wird, verzerrt das Bild eines Objekts, das eine Höhen-Komponente besitzt (zum Beispiel ein benachbartes Fahrzeug 2), stark in der Richtung weiter weg von dem Fahrzeug 1 des Benutzers, und dies lässt den Benutzer annehmen, dass irgendetwas in einem Bereich der Straße existiert, in der tatsächlich nichts existiert. Diese Fehlanpassung zwischen den tatsächlichen Umgebungen und dem synthetisierten Bild kann möglicherweise ein Missverständnis durch den Benutzer hervorrufen und demzufolge das sichere Fahren des Benutzers beeinträchtigen.
Um die Verzerrung des Bilds, beschrieben vorstehend, aufzuheben, kann ein Verfahren, das einen Abstands-Messfühler, wie beispielsweise ein Laserradar, verwendet, eingesetzt werden. Das bedeutet, dass, für ein dreidimensionales Objekt, das eine Höhen-Komponente, wie beispielsweise benachbarte Fahrzeuge, besitzt, Abstands-Daten zuvor mit einem Abstands-Messfühler erhalten werden können, und eine perspektivische Transformation wird unter Verwendung eines dreidimensionalen Profils, bestimmt von den erhaltenen Abstandsdaten, als die Projektionsebene durchgeführt.
Durch Anwenden dieses Verfahrens wird keine Bild-Verzerrung im Gegensatz zu dem Fall der Straßenflächen-Projektion hervorgerufen. Allerdings besitzt dieses Verfahren noch ein Problem dahingehend, dass ein Bereich, der hinter einem Objekt, angeordnet näher zu einer Kamera, verdeckt ist (Behinderungsbereich), gebildet wird.
Zum Beispiel ist es, in 38, von den Bildern, die mit den Kameras 1 und 2 aufgenommen sind, bekannt, dass ein Fahrzeug auf der rechten Seite des Fahrzeugs 1 eines Benutzers hält. Allerdings wird kein Bild des rechten Teils des Fahrzeugs mit irgendeiner der Kameras aufgenommen, da der rechte Teil durch den linken Teil des Fahrzeugs verdeckt ist. Der rechte Teil entspricht deshalb einem fehlenden Bildbereich eines Umgebungsbilds des Fahrzeugs des Benutzers, in dem keine Bilddaten mit den Kameras aufgenommen worden sind. Deshalb ist, gerade wenn alle Abstandsdaten für die Umgebung erhalten sind, nur der linke Teil des Fahrzeugs, von dem Kamerabilder verfügbar sind, in dem sich ergebenden, synthetisierten Bild dargestellt, da eine Bild-Synthese für den rechten Teil des Fahrzeugs entsprechend zu dem Bild-Befehlbereich fehlschlägt. In diesem Typ eines Systems sind Kameras allgemein an einem Fahrzeug montiert und die Anzahl von Kameras ist aufgrund einer Beschränkung in den Kosten, und dergleichen, eingeschränkt. Deshalb tritt das vorstehende Problem für nahezu alle dreidimensionalen Objekte in der Umgebung des Fahrzeugs auf.
41 zeigt ein synthetisiertes Bild, das dann erhalten wird, wenn Abstandsdaten an den benachbarten Objekten alle bekannt sind. Wie anhand der 41 festgestellt werden kann, gehören, während Abstandsdaten an den Fahrzeugen, die um das Fahrzeug 1 des Benutzers herum existieren, alle für die Seiten davon näher zu dem Fahrzeug des Benutzers bekannt sind, die gegenüberliegenden Seiten weiter weg von dem Fahrzeug des Benutzers zu fehlenden Bildbereichen. Deshalb kann, für jedes Fahrzeug, ein Bild nur für die Fahrzeugseite des Benutzers erzeugt werden.
In dem zweiten Stand der Technik, in dem jedes Objekt durch ein Bildsymbol dargestellt wird, wird das Problem eines Anzeigens nur eines Teils eines Bilds vermieden. Allerdings kann der Benutzer das angezeigte Bild als unnatürlich empfinden, da das Bild gegenüber dem Objekt, das der Benutzer direkt sieht, unterschiedlich ist. Weiterhin ist es nahezu unmöglich für ein Bildsymbol, die genaue Position des Objekts anzuzeigen. 42 zeigt eine Darstellung einer Situation, in der ein Fahrzeug 3 in der linksseitigen, hinteren Position in Bezug auf das Fahrzeug 1 des Benutzers, betrachtet von oberhalb, existiert. Wie 42 zeigt, ist es, für einen sicheren Parkvorgang, wichtig, genau die Position eines Bereichs AR1 des Fahrzeugs 3 auf der Seite näher zu dem Fahrzeug 1 des Benutzers zu erkennen.
43 zeigt ein Beispiel einer Anzeige der Situation, dargestellt in 42, in der das Fahrzeug 2 durch ein Bild 3A kleiner als die tatsächliche Größe des Fahrzeugs dargestellt ist. In diesem Beispiel sind Bereiche AR2 bis AR4 nicht für den Benutzer dargestellt, obwohl tatsächlich diese Bereiche Teil des Fahrzeugs 3 sind. Insbesondere bezieht sich der Bereich AR2 auf einen Rand des Fahrzeugs 3 näher zu dem Fahrzeug des Benutzers, was während eines Parkens des Fahrzeugs des Benutzers wichtig ist. Diese Anzeige ist deshalb ungeeignet.
44 zeigt ein Beispiel einer Anzeige der Situation, die in 42 dargestellt ist, in der das Fahrzeug 3 durch ein Bild 3B größer als die tatsächliche Größe des Fahrzeugs dargestellt ist. In diesem Beispiel sind Bereiche AR5 bis AR7 so dargestellt, als wären sie Teil des Fahrzeugs 3, und zwar für den Benutzer, obwohl tatsächlich das Fahrzeug 3 nicht diese Bereiche belegt. Insbesondere beziehen sich die Bereiche AR5 und AR7 auf die Ränder bzw. Grenzen des Fahrzeugs 3 näher zu dem Fahrzeug des Benutzers, was während eines Parkens des Fahrzeugs des Benutzers wichtig ist. Diese Anzeige ist deshalb ungeeignet.
ZUSAMMENFASSUNG DER ERFINDUNG
Eine Aufgabe der vorliegenden Erfindung ist es, eine Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs zu schaffen, geeignet dazu, dem Benutzer zu ermöglichen, genau die Position eines benachbarten Objekts zu erkennen, was wichtig beim Fahren ist und eine Unnatürlichkeit, die der Benutzer empfinden kann, aufgrund eines Fehlers eines Anzeigens eines Bilds in einem verdeckten Bereich, beseitigt.
Eine andere Aufgabe der vorliegenden Erfindung ist es, ein System zum Bereitstellen eines Bilds zu schaffen, das dazu geeignet ist, eine Unnatürlichkeit, die der Benutzer für einen Bereich eines bereitgestellten Bilds empfinden kann, in dem Bilddaten von einer Kamera nicht aufgrund des Vorhandenseins eines Objekts verfügbar sind, zu beseitigen.
Der Verdeckungsbereich, wie er hier verwendet wird, bezieht sich auf einen Bereich, der nicht über irgendeine Kamera, angeordnet an dem Fahrzeug des Benutzers, gesehen wird. Während eines Fahrvorgangs, wie beispielsweise eines Parkens, ist es wichtig, die Position des Rands eines benachbarten Objekts an der Fahrzeugseite des Benutzers anzuzeigen. Für den Verdeckungsbereich wird davon ausgegangen, dass ein genaues Bild in einer genauen Position nicht notwendigerweise erforderlich ist, sondern eine Anzeige mit einem größeren Grad einer Genauigkeit so, dass der Benutzer keine Unnatürlichkeit empfindet, ausreichend ist. Um dies spezifisch anzugeben, ist, in dem Beispiel, dargestellt in 42, nur der Bereich AR1 des Fahrzeugs 3 von dem Fahrzeug des Benutzers aus sichtbar. Der andere Bereich des Fahrzeugs 3 wird weder über Kameras noch direkt durch die Augen gesehen. Allerdings beeinträchtigt dies nicht besonders den Fahrvorgang.
Im Gegensatz dazu wird ein nicht verdeckter Bereich in einer genauen Position angezeigt werden. Zusätzlich wird, da der Benutzer sowohl ein angezeigtes Bild eines Objekts als auch das Objekt direkt während eines Fahrvorgangs sieht, das Bild vorzugsweise nicht so unterschiedlich zu dem tatsächlichen Bild angezeigt.
Im Hinblick auf das Vorstehende wird, gemäß der vorliegenden Erfindung, in dem „nicht verdeckten Bereich" das Bild in einer genauen Position angezeigt, während in dem „Verdeckungsbereich" ein Bild mit einem Grad einer Genauigkeit angezeigt wird, der ausreichend ist, dass der Benutzer keine Unnatürlichkeit empfindet.
Die Vorrichtung für eine Anzeige der Umgebung eines Fahrzeugs der vorliegenden Erfindung umfasst: eine Kamera, die ein Bild der Umgebung eines Fahrzeugs aufnimmt; eine Einrichtung zum Erfassen von Hindernissen, die ein Hindernis in der Umgebung des Fahrzeugs erfasst; eine Bildverarbeitungseinrichtung, die ein Umgebungsbild, das die Situation um das Fahrzeug herum darstellt, aus dem mit der Kamera aufgenommenen Bild erzeugt; und eine Einrichtung zum Erfassen von fehlenden Bildbereichen, die einen fehlenden Bereich in dem Umgebungsbild erfasst, wenn das Hindernis durch die Einrichtung zum Erfassen von Hindernissen erfasst wird, wobei der fehlende Bildbereich auf Grund des Vorhandenseins des Hindernisses keine Bilddaten von der Kamera gewinnen kann, wobei die Bildverarbeitungseinrichtung mindestens einen Teil des fehlenden Bildbereichs mit Ersatz-Bilddaten füllt, wenn der fehlende Bildbereich erfasst wird.
Gemäß der Erfindung, wie sie vorstehend beschrieben ist, wird, wenn ein Hindernis in der Umgebung eines Fahrzeugs durch die Hindernis-Erfassungseinrichtung erfasst wird, ein fehlender Bildbereich, der dahingehend fehlschlägt, Bilddaten von der Kamera auf grund des Vorhandenseins des Hindernisses, und dergleichen, zu erfassen, durch die fehlende Bildbereich-Erfassungseinrichtung erfasst. Die Bildverarbeitungseinrichtung füllt mindestens einen Teil des fehlenden Bildbereichs mit den Ersatz-Bilddaten auf. In dem sich ergebenden Umgebungsbild, erzeugt durch die Bildverarbeitungseinrichtung, wird eine Unnatürlichkeit des fehlenden Bildbereichs entsprechend zu dem „Behinderungsbereich", beschrieben vorstehend, durch das Auffüllen mit Ersatz-Bilddaten verringert, und Kamera-Bilddaten werden für den Bereich, ein anderer als der fehlende Bildbereich, entsprechend zu dem „nicht verdeckten Bereich", verwendet. Deshalb fühlt der Benutzer keine Unnatürlichkeit für das Umgebungsbild zu sehr und kann die Position des Hindernisses in der Umgebung des Fahrzeugs genau erkennen. Demzufolge ist ein sicherer Fahrbetrieb zuverlässiger und komfortabler als in dem herkömmlichen Fall möglich.
In der Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs der Erfindung, beschrieben vorstehend, umfasst vorzugsweise die Einrichtung zum Erfassen eines fehlenden Bildbereichs eine Position-Erfassungseinrichtung für ein Objekt zum Erfassen der Position einer Grenze des Hindernisses auf der Fahrzeugseite, und bestimmt den fehlenden Bildbereich unter Verwendung der erfassten Grenz-Position.
Der Bildverarbeitungseinrichtung verwendet vorzugsweise ein Grenz-Bild, umfassend mindestens den Grenz-Bereich des Hindernisses an der Fahrzeugseite zum Erzeugen der Ersatz-Bilddaten. Demzufolge wird das Grenz-Bild, umfassend den Grenz-Bereich des Hindernisses an der Seite des Fahrzeugs des Benutzers, zum Erzeugen von Ersatz-Bilddaten zum Füllen des fehlenden Bildbereichs verwendet. Es ist deshalb möglich, dem Benutzer ein Bild zu präsentieren, das die genaue Grenz-Position des Hindernisses an der Fahrzeugseite des Benutzers anzeigt, was für den Fahrvorgang wichtig ist.
Vorzugsweise platziert die Bildverarbeitungseinrichtung das Grenz-Bild auf dem Umgebungsbild, um es so zu der Grenz-Bild-Position, erfasst durch die Hindernis-Positionserfassungs-Einrichtung, auszurichten, nimmt einen Bereich, belegt durch das Hindernis, in dem Umgebungsbild, durch Ausrichten zu der Grenz-Position an und erzeugt die Ersatz-Bilddaten durch eine Pixel-Interpolation unter Verwendung von Pixeldaten des Grenz-Bilds für einen Bereich des angenommenen Verdeckungsbereichs, ein anderer als das Grenz-Bild. Demzufolge wird das Grenz-Bild in einer genauen Grenz-Position platziert, und ein Bild des Bereichs des Hindernisses, ein anderer als das Grenz-Bild, wird durch eine Pixel-Interpolation unter Verwendung von Pixel-Daten des Grenz-Bilds erzeugt.
Dies ermöglicht die Erzeugung eines Umgebungsbilds, in dem die Grenz-Position des Hindernisses an der Fahrzeugseite des Benutzers, wichtig für den Benutzer, genau ist, und für das der Benutzer keine Unnatürlichkeit empfindet.
Vorzugsweise nimmt, wenn das Hindernis ein achsensymmetrisches Objekt ist, die Bildverarbeitungseinrichtung eine Symmetrieachse des Hindernisses in dem Umgebungsbild an, invertiert das Grenz-Bild in Bezug auf die Symmetrieachse, um ein invertiertes Grenz-Bild zu erhalten, und erzeugt ein Bild zwischen dem Grenz-Bild und dem invertierten Grenz-Bild in dem Verdeckungsbereich durch die Pixel-Interpolation unter Verwendung von Pixel-Daten des Grenz-Bilds. Dies ermöglicht eine Erzeugung eines synthetisierten Bilds eines Verdeckungsbereichs, frei von einer Unnatürlichkeit, durch Verwendung einer Achsensymmetrie des Objekts, wie beispielsweise eines Fahrzeugs.
Die Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs der Erfindung, beschrieben vorstehend, kann weiterhin eine Hindernis-Bild-Datenbank zum Speichern von Bilddaten von Objekten als Kandidaten von Hindernissen umfassen, wobei die Bildverarbeitungseinrichtung den Typ des erfassten Hindernisses bestimmt, Bilddaten des bestimmten Typs eines Hindernisses von der Hindernis-Bild-Datenbank liest, die gelesenen Bilddaten auf dem Umgebungsbild platziert, um es zu der Grenz-Position, erfasst durch die Hindernis-Position-Erfassungseinrichtung, als die Ersatz-Bilddaten auszurichten.
Gemäß der Erfindung, beschrieben vorstehend, werden die Bilddaten von Objekten als Kandidaten von Hindernissen als eine Datenbank gehalten, und Bilddaten eines bestimmten Typs eines Hindernisses werden so platziert, um sich zu der Grenz-Position als Ersatz-Bilddaten auszurichten. Deshalb kann ein Bild ähnlich zu einem tatsächlichen Hindernis in einer genauen Position präsentiert werden.
Der Bildverarbeitungseinrichtung bestimmt vorzugsweise den Typ des Hindernisses basierend auf dem Bild von der Kamera.
Vorzugsweise erfasst, wenn das Hindernis ein Fahrzeug ist, die Hindernis-Position-Erfassungseinrichtung eine Kontakt-Position eines Reifens des Fahrzeugs mit der Straßenfläche in dem Bild von der Kamera als die Grenz-Position.
Gemäß der Erfindung, die vorstehend beschrieben ist, kann, wenn das Hindernis ein Fahrzeug ist, die Existenz eines Reifens dazu verwendet werden, die genaue Grenz-Position zu erfassen.
In der Vorrichtungs-Anzeige der Umgebung eines Fahrzeugs der Erfindung, beschrieben vorstehend, erfasst vorzugsweise, wenn das Hindernis ein Fahrzeug ist, die Hindernis-Position-Erfassungseinrichtung eine Linie einer Ebene, die ein Nummernschild des Fahrzeugs, in Kontakt mit der Straßenfläche in dem Bild, von der Kamera als die Grenz-Position, umfasst.
Vorzugsweise erzeugt die Bildverarbeitungseinrichtung das Umgebungsbild unter Durchführen einer virtuellen Sichtpunkt-Transformation basierend auf dem Bild von der Kamera.
Das Bildbereitstellungssystem der vorliegenden Erfindung umfasst: eine Kamera, die ein Bild aufnimmt; eine Erfassungseinrichtung, die ein Objekt in einem Bildbereitstellungsbereich erfasst; eine Bildverarbeitungseinrichtung, die ein Bild, das die Situation in dem Bildbereitstellungsbereich zeigt, aus dem mit der Kamera aufgenommenen Bild erzeugt; und eine Einrichtung zum Erfassen fehlender Bildbereiche, die einen fehlenden Bildbereich in dem erzeugten Bild erfasst, wenn ein Objekt durch die Erfassungseinrichtung erfasst wird, wobei der fehlende Bildbereich auf Grund des Vorhandenseins des Objektes keine Bilddaten von der Kamera gewinnen kann, wobei die Bildverarbeitungseinrichtung wenigstens einen Teil des fehlenden Bildbereiches mit Ersatz-Bilddaten ausfüllt, wenn der fehlende Bildbereich erfasst wird.
Gemäß der vorliegenden Erfindung wird, wenn ein Objekt in dem mit Bild versehenen Bereich erfasst wird, ein fehlender Bildbereich, in dem keine Bilddaten von der Kamera aufgrund der Existenz des Objekts erhalten werden können, durch die Erfassungseinrichtung für den fehlenden Bildbereich erfasst. Der Bildverarbeitungseinrichtung füllt zumindest einen Teil des fehlenden Bildbereichs mit Ersatz-Bilddaten auf. In dem sich ergebenden, bereitgestellten Bild, erzeugt durch die Bildverarbeitungseinrichtung, wird eine Unnatürlichkeit des fehlenden Bildbereichs durch das Auffüllen mit Ersatz-Bilddaten verringert, und Kamera-Bilddaten werden für den Bereich, ein anderer als der fehlende Bildbereich, verwendet. Deshalb fühlt der Benutzer keine Unnatürlichkeit für das bereitgestellte Bild zu sehr und kann die Situation in dem mit Bild versehenen Bereich genau erkennen.
In dem Bild-Bereitstellungssystem der Erfindung, beschrieben vorstehend, nimmt vorzugsweise die Kamera ein Bild der Umgebung des Fahrzeugs auf.
Vorzugsweise nimmt die Kamera ein Bild der Innenseite oder der Umgebung eines Gebäudes auf.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 zeigt ein Blockdiagramm eines Grundaufbaus von Vorrichtungen einer Anzeige für Umgebungen eines Fahrzeugs von Ausführungsformen 1 und 2 der vorliegenden Erfindung.
2 zeigt eine Ansicht, die eine Grenze eines Hindernisses auf der Fahrzeugseite des Benutzers darstellt.
3 zeigt ein erstes Beispiel eines synthetisierten Bilds, erhalten in Ausführungsform 1 der vorliegenden Erfindung.
4 zeigt eine vergrößerte Ansicht eines synthetisierten Bilds durch eine Perspektiven-Projektionstransformation, um eine Erzeugung eines zweiten Beispiels in Ausführungsform 1 darzustellen.
5 zeigt das zweite Beispiel eines synthetisierten Bilds, erhalten in Ausführungsform 1 der vorliegenden Erfindung.
6 zeigt ein drittes Beispiel eines synthetisierten Bilds, erhalten in Ausführungsform 1 der vorliegenden Erfindung.
7A und 7B zeigen Ansichten, die eine Situation darstellen, in der ein Fahrzeug als ein Hindernis auf der Seite des Benutzers existiert.
8 zeigt ein Bild, erzeugt durch eine Straßenflächen-Projektion, in der Situation, dargestellt in den 7A und 7B.
9 zeigt ein Flussdiagramm einer Bild-Synthese, die ein invertiertes Grenz-Bild verwendet, durch einen Bildverarbeitungseinrichtung, in Ausführungsform 2 der vorliegenden Erfindung.
10 zeigt eine Ansicht zum Darstellen einer Erzeugung eines Grenz-Bilds.
11 zeigt eine Ansicht zum Darstellen einer Erzeugung/Platzierung eines invertierten Grenz-Bilds.
12 zeigt eine Ansicht zum Darstellen einer Pixel-Interpolation.
13 zeigt eine schematische Ansicht eines Umgebungsbilds, erzeugt in Ausführungsform 2 der vorliegenden Erfindung.
14 zeigt eine Ansicht zum Darstellen einer Verarbeitung, durchgeführt dann, wenn die Grenze eines Hindernisses an der Fahrzeugseite des Benutzers von einer L-Form ist.
15 zeigt eine schematische Ansicht eines Umgebungsbilds, erzeugt in Ausführungsform 2 der vorliegenden Erfindung.
16 zeigt ein erstes Beispiel eines synthetisierten Bilds in Ausführungsform 2 der vorliegenden Erfindung.
17 zeigt ein Flussdiagramm einer Bild-Synthese, die ein Grenz-Bild und eine Pixel-Interpolation durch die Bildverarbeitungseinrichtung in Ausführungsform 2 der vorliegenden Erfindung verwendet.
18 zeigt eine schematische Ansicht eines synthetisierten Bilds, erhalten dann, wenn sich ein benachbartes Fahrzeug in der Nähe des Fahrzeugs des Benutzers befindet.
19 zeigt eine vergrößerte Teilansicht der 18.
20 zeigt eine schematische Ansicht eines Umgebungsbilds, erzeugt in Ausführungsform 2 der vorliegenden Erfindung.
21 zeigt ein zweites Beispiel eines synthetisierten Bilds in Ausführungsform 2 der vorliegenden Erfindung.
22 zeigt ein drittes Beispiel eines synthetisierten Bilds in Ausführungsform 2 der vorliegenden Erfindung.
23 zeigt ein Blockdiagramm eines Basisaufbaus einer Vorrichtung zur Anzeige einer Umgebung eines Fahrzeugs einer Ausführungsform 3 der vorliegenden Erfindung.
24A und 24B zeigen Ansichten zum Darstellen des Seitenverhältnisses eines Fahrzeugs und des Fahrzeug-Seitenprofils.
25 stellt ein Beispiel von Fahrzeug-Modelldaten, gespeichert in einer Hindernis-Bild-Datenbank, dar.
26 zeigt ein Flussdiagramm einer Betriebsweise eines Bildprozessors in Ausführungsform 3 der vorliegenden Erfindung.
27 zeigt ein Flussdiagramm von Details einer Fahrzeug-Modell-Identifikation.
28 zeigt ein Flussdiagramm von Details einer Platzierung eines Hindernis-Bilds.
29 zeigt ein synthetisiertes Bild, erzeugt durch eine Straßenflächen-Projektion.
30 zeigt ein Bild eines Verdeckungsbereichs in dem Bild der 29.
31 zeigt ein Bogenmuster, das den unteren Bereich eines Reifens anpasst.
32 zeigt eine Ansicht, die das Ergebnis einer Kanten-Extraktion von dem Bild der 30 darstellt.
33 zeigt ein erstes Beispiel eines synthetisierten Bilds, erhalten in Ausführungsform 3 der vorliegenden Erfindung.
34 zeigt eine Ansicht zum Darstellen einer Hindernis-Grenz-Position-Erfassung unter Verwendung eines Nummernschilds.
35 zeigt ein zweites Beispiel eines synthetisierten Bilds, erhalten in Ausführungsform 3 der vorliegenden Erfindung.
36 zeigt ein drittes Beispiel eines synthetisierten Bilds, erhalten in Ausführungsform 3 der vorliegenden Erfindung.
37 stellt Beispiele von Bild-Symbolen in dem zweiten Stand der Technik dar.
38 stellt ein Beispiel einer Platzierung von Kameras zusammen mit Beispielen von Bildern, aufgenommen mit den Kameras, in den Ausführungsformen der vorliegenden Erfindung, dar.
39 zeigt eine Ansicht der Umgebung des Fahrzeugs, dargestellt in 38.
40 zeigt ein Beispiel eines synthetisierten Bilds, erhalten durch eine Straßenflächen-Projektion.
41 zeigt ein Beispiel eines synthetisierten Bilds, erhalten durch eine Perspektiven-Projektions-Transformation unter Verwendung von Entfernungsdaten.
42 zeigt eine Darstellung einer Situation, in der ein Fahrzeug in einer linksseitigen, hinteren Position in Bezug auf das Fahrzeug des Benutzers, betrachtet von oberhalb, existiert.
43 zeigt ein Beispiel einer Anzeige der Situation, dargestellt in 42, in der ein Bild, kleiner als das tatsächliche Fahrzeug, angezeigt ist.
44 zeigt ein anderes Beispiel einer Anzeige der Situation, dargestellt in 42, in der ein Bild, größer als das tatsächliche Fahrzeug, angezeigt ist.
45 zeigt eine Ansicht zum Darstellen eines fehlenden Bildbereichs, in dem ein Fahrzeug an einer Halteposition an der Rückseite des Fahrzeugs des Benutzers vorhanden ist.
46 zeigt ein Blockdiagramm eines Basisaufbaus einer Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs der Ausführungsform 4 der vorliegenden Erfindung.
47 zeigt ein Beispiel einer virtuellen Hindernisform.
48 zeigt ein Flussdiagramm einer Verarbeitung in Ausführungsform 4 der vorliegenden Erfindung.
49 zeigt einen Verdeckungsbereich, der erfasst ist.
50 zeigt eine Ansicht zum Darstellen einer Anpassung einer virtuellen Hindernisform an den Verdeckungsbereich.
51 zeigt eine Ansicht zum Darstellen einer Bild-Projektion auf die virtuelle Hindernisform.
52A und 52B zeigen Ansichten, die konzeptmäßig das Ergebnis einer Anpassung einer virtuellen Hindernisform, betrachtet von einer Seite, darstellen.
53A und 53B zeigen Ansichten, die konzeptmäßig das Ergebnis der Anpassung der virtuellen Hindernisform, betrachtet von oberhalb, darstellen.
54 zeigt eine konzeptmäßige Ansicht eines Innen-Überwachungssytems.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Nachfolgend werden bevorzugte Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
Zuerst wird die Beziehung zwischen dem Verdeckungsbereich und dem fehlenden Bildbereich, so wie sie hier verwendet wird, beschrieben.
Die 45A und 45B stellen eine Situation dar, in der ein Fahrzeug 2 hinter einem Fahrzeug 1 eines Benutzers hält, gesehen von einer Seite und von oben, jeweils. Eine Kamera 11 ist an dem Fahrzeug des Benutzers, zum Aufnehmen von Bildern nach hinten, montiert. Unter Verwendung der Bilder, aufgenommen mit der Kamera 11, wird ein synthetisiertes Bild, betrachtet über eine virtuelle Kamera VC, erzeugt. Die Linie RS bezeichnet eine Straßenfläche. Wie anhand der 45A festgestellt wird, wird, aufgrund des Vorhandenseins des Fahrzeugs 2, ein Behinderungsbereich, verdeckt durch den vorderen Teil des Fahrzeugs 2, erzeugt.
Zum Erzeugen eines synthetisierten Bilds, betrachtet über die virtuelle Kamera VC, müssen Bilder von Bereichen des Fahrzeugs 2 entsprechend zu dem Verdeckungs-Bereich (die Kühlerhaube, die Windschutzscheibe und das Dach des Fahrzeugs 2) angezeigt werden. Allerdings werden keine Bilddaten von der Kamera 11 für diese Bereiche bereitgestellt, die deshalb einen fehlenden Bildbereich darstellen. Wie in diesem Beispiel bildet ein Bereich, für den keine Bilddaten von irgendeiner Kamera aufgrund des Vorhan denseins eines Objekts oder eines Hindernisses, wie beispielsweise des Fahrzeugs 2, vorhanden sind, einen fehlenden Bildbereich in einem Bild, das angezeigt werden soll. Es ist anzumerken, dass der fehlende Bildbereich auch einen Bereich umfasst, der ursprünglich außerhalb des Sichtfelds der Kamera liegt, für den natürlich keine Bilddaten verfügbar sind.
Ausführungsform 1
1 stellt konzeptmäßig einen Grundaufbau einer Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs einer Ausführungsform 1 der vorliegenden Erfindung dar. Die Vorrichtung für eine Anzeige der Umgebung eines Fahrzeugs der 1 umfasst als einen Grundaufbau: eine Kamera 11, um Bilder der Umgebung eines Fahrzeugs aufzunehmen; eine Hindernis-Erfassungseinrichtung 12 zum Erfassen eines Hindernisses in der Umgebung des Fahrzeugs; eine Hindernis-Position-Erfassungseinrichtung 13 zum Erfassen der Position der Grenze des Hindernisses an der Fahrzeugseite; und einen Bildverarbeitungseinrichtung 14 zum Aufnehmen der Bilder, aufgenommen mit der Kamera 11 (Kamerabilder), um ein Bild zu erzeugen, das die Situation um das Fahrzeug herum von den empfangenen Kamerabildern darstellt.
Die Kamera 11 ist typischerweise an dem Fahrzeug zum Aufnehmen von Bildern der Situation um das Fahrzeug herum montiert. Kameras, die irgendwo in Infrastrukturen, wie beispielsweise Straßen, Signalen und Gebäuden, angeordnet sind, können auch verwendet werden. Ansonsten können Bilder, aufgenommen mit Kameras, befestigt an anderen Fahrzeugen um das Fahrzeug des Benutzers herum, falls welche vorhanden sind, empfangen werden und zusammen mit den Bildern, aufgenommen mit der Kamera 11, oder unabhängig davon, verwendet werden.
Die Hindernis-Erfassungseinrichtung 12 erfasst ein Hindernis in der Umgebung des Fahrzeugs, und zwar durch irgendeines der folgenden Verfahren, zum Beispiel. In einem Verfahren wird die Farbe der Straßenfläche von Bildern, aufgenommen mit der Kamera 11, extrahiert. In einem anderen Verfahren wird ein Bereich, der eine Höhen-Komponente besitzt, durch eine Technik einer Stereoansicht, oder dergleichen, unter Verwendung einer Parallaxe, erhalten von einer Vielzahl von Bildern, extrahiert, um diesen Bereich als einen Verdeckungsbereich zu erfassen. Alternativ können verschiedene aktive Erfassungen für eine Hindernis-Erfassung, unter Verwendung von Laser, Ultraschall, Ultraviolett, einer ex trem hohen Frequenz (Extremly High Frequency – EHF), und dergleichen, verwendet werden.
Die Erfassung eines Verdeckungsbereichs durch Extrahieren der Farbe der Straßenfläche wird beschrieben. Unter der Annahme, dass eine Kamera in einer nach unten schrägen Richtung in Bezug auf die horizontale Richtung weist, belegt die Straßenfläche wahrscheinlich den breitesten Bereich eines Kamerabilds. Es ist deshalb möglich, eine typische Farbe der Straßenfläche durch Präparieren eines Histogramms aus Farben des Bilds und durch Extrahieren der Farbe, die die höchste Häufigkeit besitzt, zu bestimmen. Allgemein ist die Farbe einer gepflasterten Straßenfläche grau, das ist die Farbe des Asphalts, während die Farbe einer nicht gepflasterten Straßenfläche braun ist. Deshalb kann der Bereich, ein anderer als die Straßenfläche, das bedeutet ein Verdeckungsbereich, durch Auffinden eines Bereichs bestimmt werden, der eine Farbe stark unterschiedlich gegenüber der extrahierten, typischen Farbe besitzt.
Ein Beispiel des Verfahrens, das eine Parallaxe, erhalten von einer Vielzahl von Bildern, verwendet, ist in Massimo et al., „Performance Analysis of a Low-Cost Solution to Vission Based Obstacle Detection", International Conference on Intelligent Transportation Systems, Seiten 350–355 (Literatur 1), beschrieben.
Die Hindernis-Position-Erfassungseinrichtung 13 erfasst die Position der Grenze des Verdeckungsbereichs, erfasst durch die Hindernis-Erfassungseinrichtung 12, an der Fahrzeugseite des Benutzers, das bedeutet die Position der Grenze des Hindernisses am nächsten zu dem Fahrzeug des Benutzers. Diese Erfassung kann unter Durchführen einer Rasterabtastung mit einer aktiven Erfassung in der Richtung horizontal zu der Seitenfläche des Fahrzeugs des Benutzers, oder durch ein Verfahren unter Verwendung eines Bereichsfinders, wie folgt, realisiert werden. Zuerst wird eine Abtastung mit einem Bereichsfinder in der Richtung vertikal zu der Straßenfläche durchgeführt. Eine Position, am nächsten zu dem Fahrzeug des Benutzers, wird von den Abständen, gemessen durch die vertikale Abtastung, bestimmt. Die vertikale Abtastung wird für das erfasste Hindernis über einen horizontalen, flügelförmigen Bereich wiederholt, und die Positionen, am nächsten zu dem Fahrzeug des Benutzers, bestimmt durch die Abtastungen, werden als eine Linie in der horizontalen Richtung verbunden. Die Linie wird als die Grenze des Hindernisses auf der Fahrzeugseite des Benutzers bestimmt.
2 zeigt eine Ansicht, die eine Situation darstellt, in der ein Fahrzeug 2 auf einer Seite eines Fahrzeugs 1 eines Benutzers hält. Ein Seitenprofil E1 als die Grenze des Fahrzeugs 2 an der Seite näher zu dem Fahrzeug 1 des Benutzers kann durch Abtasten mit einer aktiven Erfassung als die Hindernis-Position-Erfassungseinrichtung 13 bestimmt werden.
Das Problem eines Verdeckungsbereichs, beschrieben zuvor in Bezug auf die Probleme nach dem Stand der Technik, entsteht bei der vorstehenden Erfassung. Das bedeutet, dass es extrem schwierig ist, Bilder eines Hindernisses in der Umgebung des Fahrzeugs eines Benutzers aufzunehmen, ohne dass irgendein Teil des Hindernisses verdeckt ist, und zwar mit Kameras, die an dem Fahrzeug des Benutzers montiert sind, oder auch sogar mit Kameras, die in Infrastrukturen, zusätzlich zu den Kameras an dem Fahrzeug des Benutzers, platziert sind. Dies kommt daher, dass Hindernisse eine Vielfalt von Formen haben und die Positionen der Hindernisse über die Zeit und mit den Umständen variieren können. Eine enorme Anzahl von Kameras ist deshalb erforderlich, um Bilder eines Hindernisses aufzunehmen, ohne dass irgendein Teil zu irgendeinem Zeitpunkt verdeckt ist. Dies ist ökonomisch nachteilig. In einem innen liegenden Parkbereich kann es, zum Beispiel, möglich sein, eine Kamera an einer Position oberhalb eines Fahrzeugs anzuordnen und ein Bild des Fahrzeugs, aufgenommen mit der Kamera, dem Benutzer bereitzustellen. Allerdings wird in diesem Fall auch, da die Kamera nicht immer unmittelbar oberhalb eines Fahrzeugs positioniert ist, ein Verdeckungsbereich noch erzeugt.
Deshalb umfasst, obwohl ein Verdeckungsbereich durch die Hindernis-Erfassungseinrichtung 12 erfasst wird, das sich ergebende Umgebungsbild, das dem Benutzer präsentiert wird, unvermeidbar einen fehlenden Bildbereich aufgrund des Vorhandenseins eines Verdeckungsbereichs. Das erhaltene Bild ist als Ganzes sehr unnatürlich.
In dieser Ausführungsform erfasst, um das vorstehende Problem zu lösen, wenn ein Hindernis durch die Hindernis-Erfassungseinrichtung 12 erfasst ist, die Hindernis-Position-Erfassungseinrichtung 13 die Position der Grenze bzw. des Rands des Hindernisses an der Fahrzeugseite des Benutzers, und die Bildverarbeitungseinrichtung 14 bestimmt einen fehlenden Bildbereich unter Verwendung der erfassten Grenz-Position und füllt mindestens einen Teil des fehlenden Bildbereichs mit Ersatz-Bilddaten auf, um ein Umgebungsbild zu erzeugen, für das der Benutzer keine Unnatürlichkeit empfindet. Die Hindernis- Position-Erfassungseinrichtung 13 und die Einrichtung zum Bestimmen des fehlenden Bildbereichs bilden eine Erfassungseinrichtung für den fehlenden Bildbereich.
Genauer gesagt wird zuerst eine Straßenflächen-Projektions- oder perspektivische Projektions-Transformation für den Bereich eines Bilds, ein anderer als ein Verdeckungsbereich, erfasst durch die Hindernis-Erfassungseinrichtung 12, durchgeführt, um ein Fahrzeug-Umgebungsbild zu erzeugen. Danach wird ein Bild des Verdeckungsbereichs, erfasst durch die Hindernis-Erfassungseinrichtung 12, verarbeitet, wieder synthetisiert, um eine Unnatürlichkeit zu beseitigen, und das erhaltene Bild wird auf dem Fahrzeug-Umgebungsbild so platziert, dass die Grenz-Position, erfasst durch die Hindernis-Position-Erfassungseinrichtung 13, genau angeordnet ist, um dadurch das Fahrzeug-Umgebungsbild zu vervollständigen. Das sich ergebende Fahrzeug-Umgebungsbild wird auf einer Anzeigevorrichtung, wie beispielsweise einer Flüssigkristallanzeige und einer über Kopf befestigten Anzeige angezeigt, um dem Benutzer präsentiert zu werden.
Ein wichtiger Punkt der vorstehenden Verarbeitung ist derjenige, die Grenze des Hindernisses an der Fahrzeugseite des Benutzers genau dann zu positionieren, wenn das Bild des Verdeckungsbereichs auf dem Fahrzeug-Umgebungsbild platziert ist. Dies kommt daher, dass dann, wenn das Hindernis in dem Fahrzeug-Umgebungsbild in einer Position weiter als die tatsächliche Position in Bezug auf das Fahrzeug des Benutzers angezeigt wird, das Fahrzeug des Benutzers möglicherweise in Kontakt mit dem Hindernis kommen kann. Die Hindernis-Position-Erfassungseinrichtung 13 spielt deshalb eine wichtige Rolle um dieses Problem zu vermeiden.
<Erstes Beispiel>
Eines der Hauptprobleme, die auftreten können, wenn ein angezeigtes Bild einen leeren Bereich besitzt, ist dasjenige, dass der Benutzer seine Aufmerksamkeit diesem Bereich schenken kann, und als eine Folge die Aufmerksamkeit auf den Bereich der Straßenfläche vernachlässigen kann, die tatsächlich während des Fahrens erforderlich ist. Im Hinblick hierauf füllt, in diesem Beispiel, die Bildverarbeitungseinrichtung 14 den Verdeckungsbereich mit einer Hintergrundfarbe, wie beispielsweise schwarz, ohne ein Bild anzuzeigen, auf. Mit anderen Worten wird dem Benutzer ein Fahrzeug-Umgebungsbild präsentiert, das nur den Straßenflächen-Bereich angezeigt umfasst.
Es ist allerdings anzumerken, dass die Grenze des Hindernisses an der Fahrzeugseite des Benutzers in dem Bild genau an der Position, erhalten durch die Hindernis- Position-Erfassungseinrichtung 13, angezeigt wird. Deshalb wird die Möglichkeit eines Kontakts des Fahrzeugs des Benutzers mit dem Hindernis vermieden. Die Grenze des Hindernisses an der Seite gegenüberliegend zu der Fahrzeugseite des Benutzers ist ein Verdeckungsbereich. Allerdings wird, da dieser Bereich nicht so wichtig für einen Fahrbetrieb, wie vorstehend beschrieben ist, ein Auffüllen dieses Bereichs mit einer Hintergrundfarbe kein Problem verursachen.
3 stellt ein Beispiel eines Bilds, erhalten unter Durchführen der Verarbeitung, beschrieben vorstehend, für das synthetisierte Bild der 41 dar, in dem Verdeckungsbereiche OB1 bis OB5 in der Umgebung des Fahrzeugs 1 des Benutzers mit schwarz aufgefüllt sind. In 3 wird, ohne dass Bilder für die Verdeckungsbereiche OB1 bis OB5 angezeigt sind, der Benutzer dazu gezwungen, die Bereiche, direkt durch die Augen, zu bestätigen, und dies verhindert das Auftreten eines Problems, verursacht durch eine Fehlanpassung zwischen einem verzerrten, synthetisierten Bild und der tatsächlichen Umgebung. Ein Bereich, ein wenig breiter als der tatsächliche Verdeckungsbereich, kann unter Berücksichtigung eines möglichen Fehlers bei der Erfassung aufgefüllt werden. Anstelle eines Auffüllens mit einer Hintergrundfarbe kann der Bereich schlechter in der Präzision gemacht werden oder kann mit dem Grad einer Präzision einer Erfassung maskiert werden, dass der Bereich außerhalb der Straßenfläche liegt, um dadurch zu verhindern, dass dieser Bereich die Aufmerksamkeit des Benutzers auf sich zieht.
In 3 ist, obwohl das Bild des Fahrzeugs 1 des Benutzers nur schwer von den Kamerabildern, dargestellt in 38, erhalten wird, die Position des Fahrzeugs 1 des Benutzers sehr wichtig, um die positionsmäßige Beziehung zwischen dem Fahrzeug des Benutzers und benachbarten Hindernissen zu erkennen. Deshalb ist eine Darstellung des Fahrzeugs 1 des Benutzers zu der Position des Fahrzeugs 1 des Benutzers weitergeführt. Alternativ kann ein Bild des tatsächlichen Fahrzeugs 1 des Benutzers im Voraus gespeichert werden und übergangen werden.
<Zweites Beispiel>
Die Größe eines Hindernisses kann durch die Hindernis-Erfassungseinrichtung 12 erfasst werden, und ein einfaches, rechteckiges oder kastenähnliches, dreidimensionales Objekt entsprechend zu dieser Größe kann auf den Verdeckungsbereich gelegt werden. Dies kann die Aufmerksamkeit des Benutzers auf diesen Bereich lenken und den Benutzer dazu bringen, den Bereich direkt durch die Augen zu bestätigen.
4 zeigt eine vergrößerte Ansicht eines Bereichs hinter dem Fahrzeug 1 des Benutzers in 41. Die Länge L einer Grenze EDG eines benachbarten Hindernisses an der Fahrzeugseite des Benutzers, dargestellt in 4, kann durch die Hindernis-Erfassungseinrichtung 12 bestimmt werden. Deshalb wird ein Rechteck RTG, das eine Seite einer Länge L besitzt, erzeugt und auf dem Verdeckungsbereich so überlegt, dass sich die Seite zu der Grenze EDG ausrichtet. Die Länge W der anderen Seite des Rechtecks RTG, vertikal zu der L langen Seite, kann wahlweise bestimmt werden. In dem dargestellten Beispiel ist die Länge W einfach die Hälfte der Länge L. Ein Bereich OAR des Hindernisses auf der Seite gegenüberliegend zu der Fahrzeugseite des Benutzers ist nicht so sehr für den Benutzer wichtig, und demzufolge ist der Effekt sehr klein, wenn eine Verschiebung zwischen dem synthetisierten Bild und dem tatsächlichen Hindernis in diesem Bereich auftritt. Die Länge W kann auch von der Neigung des Seitenprofils des Hindernisses, erhalten durch die Hindernis-Position-Erfassungseinrichtung 13, bestimmt werden. Dies basiert auf der Annahme, dass die Länge W länger in Bezug auf die Länge L ist, wenn die Kippung bzw. Neigung des Seitenprofils des Hindernisses geringer in Bezug auf die Länge L ist.
5 stellt ein Beispiel eines Bilds, erhalten unter Durchführen der Verarbeitung, die vorstehend beschrieben ist, für das synthetisierte Bild der 41 dar, wobei Rechtecke RTG1 und RTG2 für die Verdeckungsbereiche erzeugt werden.
Die Farbe der Rechtecke kann eine typische Farbe von Hindernissen sein, oder kann eine Farbe, die die Aufmerksamkeit des Benutzers auf sich zieht, sein. Anstelle der Rechtecke können dreidimensionale Objekte, wie beispielsweise rechtwinklige Parallelepipede, angezeigt werden. Ansonsten kann, falls die Grenze EDG eine Kurve ist, ein ovales Objekt, das eine Linie besitzt, die sich entlang dieser Kurve erstreckt, auf dem Verdeckungsbereich überlegt werden. Weiterhin können eine Darstellung und ein Wort auf dem Bereich zum Ziehen der Aufmerksamkeit darauf überlegt werden.
<Drittes Beispiel>
6 stellt ein Beispiel eines Bilds dar, in dem jeder Verdeckungsbereich durch einen rechteckigen RTG1 dargestellt ist und ein Code auf diesem Bereich überlegt ist. In 6 ist der Code „!" überlegt, um die Aufmerksamkeit des Benutzers zu erwecken. Die Grenze des Rechtecks auf der Fahrzeugseite des Benutzers wird genau in der Position des benachbarten Hindernisses, erhalten durch die Hindernis-Position- Erfassungseinrichtung 13, angezeigt. Dies verhindert, dass das Fahrzeug des Benutzers in Kontakt mit dem benachbarten Hindernis kommt, im Gegensatz zu dem zweiten Stand der Technik, in dem eine Darstellung einfach übergangen wird. Ein anderer Code, ein Wort oder eine Darstellung, hilfreich dabei, die Aufmerksamkeit des Benutzers zu erwecken, kann anstelle des „!" verwendet werden.
Ausführungsform 2
Die Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs der Ausführungsform 2 der vorliegenden Erfindung besitzt einen Grundaufbau, wie er in 1 dargestellt ist, wie in Ausführungsform 1, das bedeutet, dass sie die Kamera 11, die Hindernis-Erfassungseinrichtung 12, die Hindernis-Position-Erfassungseinrichtung 13 und die Bildverarbeitungseinrichtung 14 als Hauptkomponenten besitzt.
Diese Ausführungsform ist gegenüber der Ausführungsform 1 in der Funktion des Bildverarbeitungseinrichtungs 14 unterschiedlich. In dieser Ausführungsform verwendet, wenn ein Hindernis durch die Hindernis-Erfassungseinrichtung 12 erfasst wird, die Bildverarbeitungseinrichtung 14 ein Grenz-Bild, umfassend mindestens einen Grenz-Bereich des Hindernisses an der Fahrzeugseite des Benutzers, erfasst durch die Hindernis-Position-Erfassungseinrichtung 13, um Ersatz-Bilddaten zum Auffüllen eines fehlenden Bildbereichs zu erzeugen, und zeigt die Ersatz-Bilddaten in einer genauen Position so an, dass der Benutzer keine Unnatürlichkeit für das sich ergebende Bild empfindet.
In vielen Fällen sind Hindernisse in der Umgebung eines Fahrzeugs ungefähr achsensymmetrisch, wie dies Fahrzeuge sind. In dem nachfolgenden Beispiel wird die Achsensymmetrie zur Erzeugung eines Bilds von einem Verdeckungsbereich als Ersatz-Bilddaten verwendet.
7A zeigt eine schematische Ansicht eines Bilds des Fahrzeugs 1 eines Benutzers und eines Fahrzeugs 2, das auf der rechten Seite des Fahrzeugs 1 des Benutzers vorhanden ist, gesehen von oberhalb des Fahrzeugs 1 des Benutzers. 7B zeigt eine schematische Ansicht, die ein Bild 2A des Fahrzeugs 2, aufgenommen mit der Kamera 11, montiert an dem Fahrzeug 1 des Benutzers, darstellt, zusammen mit der positionsmäßigen Beziehung zwischen dem Fahrzeug 1 des Benutzers und dem Fahrzeug 2, in der Situation, die in 7A dargestellt ist.
8 zeigt ein synthetisiertes Bild, erzeugt durch die Straßenflächen-Projektion, beschrieben in der Japanischen Patentanmeldung No. 2000-613188, in der Situation, die in 7A dargestellt ist. 8 stellt eine Grenze EDG des Fahrzeugs 2 an der Fahrzeugseite des Benutzers, bestimmt durch die Hindernis-Position-Erfassungseinrichtung 13, dar. Wie zuvor in Bezug auf die Probleme im Stand der Technik beschrieben ist, wird, in der Straßenflächen-Projektion, in der eine Projektion unter der Annahme durchgeführt wird, dass alle Objekte in einem Bild in der Ebene der Straßenfläche liegen, das Bild des Fahrzeugs 2, das eine Höhen-Komponente besitzt, verzerrt, und die projizierte Position unterscheidet sich stark von der tatsächlichen Position, wie sie in 8 dargestellt ist. Deshalb ist ein Problem dieser Ausführungsform dasjenige, wie ein Bild des Fahrzeugs 2 so überlegt werden sollte, um sich zu der Grenze EDG auszurichten.
<Erstes Beispiel>
9 zeigt ein Flussdiagramm einer Betriebsweise des Bildverarbeitungseinrichtungs 14 in dem ersten Beispiel dieser Ausführungsform.
In einem Schritt S11 werden die Position der Grenze eines Hindernisses an der Fahrzeugseite des Benutzers und die Länge L der Grenze durch die Hindernis-Erfassungseinrichtung 12 und die Hindernis-Position-Erfassungseinrichtung 13 bestimmt. Es wird hier angenommen, dass die Grenze des Hindernisses an der Fahrzeugseite des Benutzers eine gerade Linie ist, das bedeutet, das Hindernis, oder das Fahrzeug, das an einer Seite des Fahrzeugs des Benutzers vorhanden ist, wird rechts von der Seite betrachtet.
Im Schritt S12 wird die Länge W des Hindernisses in der Tiefenrichtung (orthogonal zu der Grenze des Hindernisses) wahlweise bestimmt. In diesem Beispiel wird die Länge W dahingehend angenommen, dass sie die Hälfte der Länge L ist. Wie vorstehend beschrieben ist, ist, während die Position der Grenze an der Fahrzeugseite des Benutzers ein wichtiger Teil des Hindernisses ist, die Länge orthogonal zu der Grenze nicht so wichtig für den Benutzer, und demzufolge wird der Effekt als klein dann angesehen, wenn eine Verschiebung zwischen dem tatsächlichen Hindernis und dem synthetisierten Bild auftritt.
Im Schritt S13 wird ein Seitenprofil (E1 in 2, zum Beispiel) des erfassten Hindernisses durch die Hindernis-Position-Erfassungseinrichtung 13 bestimmt, um als eine Projektionsebene für das benachbarte Hindernis verwendet zu werden.
Im Schritt S14 wird ein Hindernis-Bild, aufgenommen mit der Kamera 11, auf die Projektionsebene projiziert, und dann wird eine Sichtpunkt-Transformation durchgeführt, um ein projiziertes Bild eines Teils des Hindernis-Bilds zu erhalten, das bedeutet ein Grenz-Bild.
Unter Bezugnahme auf 10 wird eine Erzeugung eines Grenz-Bilds im Schritt S14 im Detail beschrieben. In 10 wird das Hindernis-Bild in dem Kamera-Bild 2A, aufgenommen mit der Kamera 11, einer Perspektiven-Transformation unter Verwendung des Hindernis-Seitenprofils E1, erhalten durch die Hindernis-Position-Erfassungseinrichtung 13, als die Projektionsebene, unterworfen. Der Sichtpunkt wird dann so transformiert, dass das Hindernis von oben betrachtet wird, um dadurch ein Grenz-Bild EDI des Hindernisses zu erhalten. Dem Hindernis-Grenz-Bild EDI fehlt es an Informationen über einen Verdeckungsbereich des Hindernisses, umfassend das Dach, die Vorderseite, die Rückseite und die Seite gegenüberliegend zu der Fahrzeugseite des Benutzers. Deshalb ist, wie in 10 dargestellt ist, das Hindernis-Grenz-Bild EDI, umfassend nur einen Teil des Hindernisses, ein dünnes Bild mit nur einer Seitenfläche, die wie eine Wand steht.
Im Schritt S15 wird ein umgekehrtes Grenz-Bild des benachbarten Hindernisses erzeugt und überlegt. 11A stellt schematisch das Grenz-Bild EDI, platziert in einem Verdeckungsbereich eines Umgebungsbilds, dar. Wie in 11B dargestellt ist, wird, unter der Annahme, dass das benachbarte Hindernis grob achsensymmetrisch ist, eine virtuelle Symmetrieachse AX entlang einer Position einer Hälfte der Breite W so angenommen, dass die Breite des Hindernisses gleich zu der Breite W, bestimmt im Schritt S12, ist. Ein invertiertes Grenz-Bild OEDI, erhalten durch Invertieren des Grenz-Bilds EDI in Bezug auf die virtuelle Symmetrieachse AX, wird so platziert, um sich zu der Grenz-Position auf der Seite gegenüberliegend zu der Fahrzeugseite des Benutzers auszurichten (die Position entfernt von der Position des Grenz-Bilds EDI um die Breite W).
Das Bild in 11B ist noch unnatürlich, da ein leerer Bereich VAR zwischen dem Grenz-Bild EDI und dem umgekehrten Grenz-Bild OEDI existiert. Deshalb wird, im Schritt S16, der leere Bereich VAR durch Interpolieren von Pixeln des Grenz-Bilds EDI und des invertierten Grenzbilds OEDI gefüllt, um ein synthetisiertes Bild des benachbarten Hindernisses fertig zu stellen.
Die Pixel-Interpolation im Schritt S16 wird unter Bezugnahme auf 12 beschrieben. 12 zeigt eine vergrößerte Ansicht von 11B, in der die x-Achse in die Richtung entlang der Grenze des Hindernisses auf der Fahrzeugseite des Benutzers gelegt ist und die y-Achse in der Richtung orthogonal zu der x-Achse gelegt ist. Es wird angenommen, dass die x-Koordinaten des am weitesten links und am weitesten rechts liegenden Endes des leeren Bereichs VAR X0 und X1, jeweils, sind, und die y-Koordinaten der Positionen des Grenz-Bilds EDI und des invertierten Grenz-Bilds OEDI am nächsten zu dem leeren Bereich VAR Y1 und Y2, jeweils, sind. Ein Pixel G(x, y) (X0 < x < X1, Y1 < y < Y2) in dem leeren Bereich VAR wird dann durch den Ausdruck (1) nachfolgend bestimmt.
13 zeigt eine schematische Ansicht des Umgebungs-Bilds, erzeugt in der Art und Weise, die vorstehend beschrieben ist, in der 2B ein synthetisiertes Bild des Fahrzeugs als das benachbarte Hindernis bezeichnet. Es ist anzumerken, dass die Textur, die durchschnittliche Helligkeit, die typische Farbe, und dergleichen, des Grenz-Bilds EDI auch für eine Interpolation von Pixeln in dem leeren Bereich VAR verwendet werden können.
In einigen Fällen kann die Grenze eines Hindernisses auf der Fahrzeugseite des Benutzers, die erhalten ist, von einer L-Form, nicht einer geraden Linie, sein. Eine Verarbeitung in diesem Fall wird im Detail unter Bezugnahme auf die 14A und 14B beschrieben.
Wie in 14A dargestellt ist, wird, wenn ein rechteckiges Hindernis, wie beispielsweise ein Fahrzeug, auf einer Schrägen in Bezug auf die Sichtlinie der Kamera vorhanden ist, ein L-förmiges Bild EDIL erhalten. In diesem Fall wird eine Symmetrieachse AX, die sich durch die Mitte der kleinen Seite und parallel zu der Hauptseite erstreckt, angenommen. Das Grenz-Bild EDIL wird um 180 Grad in Bezug auf die Symmetrieachse AX gedreht, um ein invertiertes Grenz-Bild OEDIL zu erhalten, wie dies in 14B dargestellt ist. Das Grenz-Bild EDIL nimmt die Vorherrschaft über das invertierte Grenz-Bild OEDIL in dem Überlappungsbereich der Grenz-Bilder EDIL und OEDIL an. Dies kommt daher, dass das Grenz-Bild EDIL die tatsächlichen Umgebungen korrekt wiedergibt. Die Symmetrieachse AX kann basierend auf der Länge der Hauptseite, wie in dem Beispiel, das vorstehend beschrieben ist, bestimmt werden.
Die x-Achse und die y-Achse werden entlang der großen Seite und der kleinen Seite, jeweils, gelegt, wie in dem Beispiel, das vorstehend beschrieben ist, um eine Interpolation von Pixeln durchzuführen, wie dies vorstehend beschrieben ist. Alternativ können die x-Achse und die y-Achse entlang der kleinen Seite und der großen Seite, jeweils, gelegt werden. Ansonsten kann die y-Achse entlang einer Seite näher zu der Sichtlinie der Kamera gelegt werden, oder die x-Achse und die y-Achse können geeignet in Abhängigkeit von Kamerabildern umgesetzt werden.
15 zeigt eine schematische Ansicht des Umgebungsbilds, erzeugt in der Art und Weise, die vorstehend beschrieben ist, wobei 2C ein synthetisiertes Bild des Fahrzeugs 2 als das benachbarte Hindernis bezeichnet.
Wenn die Grenze eines Objekts, die erhalten ist, eine Kurve ist, kann die gekrümmte Grenze einer linearen Approximation durch das Verfahren der kleinsten Quadrate, und dergleichen, unterworfen werden. Die x-Achse wird entlang der sich ergebenden, geraden Linie gelegt, und eine virtuelle Symmetrieachse wird entlang einer Linie, erhalten durch parallele Verschiebung der x-Achse, angenommen, um eine Verarbeitung so durchzuführen, wie dies vorstehend beschrieben ist. Alternativ kann die gekrümmte Grenze einer Approximation einer L-Form unterworfen werden, um eine ähnliche Verarbeitung durchzuführen, indem die x-Achse und die y-Achse entlang der zwei Seiten der L-Form gelegt werden.
16 zeigt ein Bild, erhalten unter Durchführung der Verarbeitung in diesem Beispiel für das synthetisierte Bild, dargestellt in 41. In 16 wird ein Hindernis-Bild OIM1, das unter Verwendung des invertierten Bilds und einer Interpolation erzeugt ist, auf jedem Verdeckungsbereich überlegt.
<Zweites Beispiel>
In dem ersten Beispiel wurde ein invertiertes Grenz-Bild unter der Annahme verwendet, dass das benachbarte Hindernis grob achsensymmetrisch war. Es ist auch möglich, ein Hindernis-Bild unter Verwendung nur einer Interpolation von Pixeln ohne die Verwendung eines invertierten Grenz-Bilds zu erzeugen. Das bedeutet, dass ein Hindernis-Bild als Ersatz-Bilddaten, die einen fehlenden Bildbereich auffüllen, von dem Grenz-Bild des Hindernisses an der Fahrzeugseite des Benutzers einfach unter Durchführen nur einer Interpolation von Pixeln erhalten werden kann. Das Verfahren ist dann effektiv, wenn die Verwendung einer Achsensymmetrie nicht verfügbar ist, wie beispielsweise dann, wenn sich ein benachbartes Fahrzeug vor oder hinter dem Fahrzeug des Benutzers befindet und Bilder nur von dem vorderen oder von dem hinteren Bereich des benachbarten Fahrzeugs mit der Kamera aufgenommen werden.
17 zeigt ein Flussdiagramm einer Betriebsweise des Bildverarbeitungseinrichtungs 14 in dem zweiten Beispiel dieser Ausführungsform. Die Schritte S21 bis S24 sind dieselben wie die Schritte S11 bis S14 des Ablaufs in dem ersten Beispiel, dargestellt in 9. Eine Interpolation von Pixeln in den Schritten S25 in diesem Beispiel wird unter Bezugnahme auf die entsprechenden Zeichnungen beschrieben.
18 zeigt eine schematische Ansicht eines synthetisierten Bilds einer Situation, in der ein benachbartes Fahrzeug hinter dem Fahrzeug 1 des Benutzers vorhanden ist. In 18 wird ein Grenz-Bild ED12 des benachbarten Fahrzeugs hinter dem Fahrzeug 1 des Benutzers platziert.
19 zeigt eine teilweise vergrößerte Ansicht der 18, in der die x-Achse in die seitliche Richtung gelegt ist und die y-Achse in die Tiefen-Richtung in Bezug auf die Position des Fahrzeugs des Benutzers in dem synthetisierten Bild gelegt ist. Wie zuvor beschrieben ist, kann die Länge W in der Tiefen-Richtung des benachbarten Hindernisses wahlweise bestimmt werden. Deshalb kann der Verdeckungsbereich (x, y) als X0 < x < X1 und Y1 < y < Y2 angenommen werden.
In 19 ist VAR1 ein fehlender Bildbereich des Verdeckungsbereichs, für den kein synthetisiertes Bild bestimmt worden ist. Es wird angenommen, dass eine Linie, entlang der der fehlende Bildbereich VAR1 in Kontakt mit dem Grenz-Bild ED12 steht, f = Y2(x) als eine Funktion von x ist. Ein Pixel G(x, y) (X0 < x < X1, Y2(x) < y < Y1) in dem Bereich VAR1 wird dann durch den Ausdruck (1) vorstehend als G(x, Y2(x)) bestimmt.
20 zeigt eine schematische Ansicht eines Umgebungsbilds, erzeugt in der Art und Weise, die vorstehend beschrieben ist, wobei 2D ein synthetisiertes Bild des Fahrzeugs 2 als das benachbarte Hindernis-Bild bezeichnet.
21 zeigt ein Bild, erhalten unter Durchführung der Verarbeitung in diesem Beispiel für das synthetisierte Bild, dargestellt in 41. in 21 wird ein Hindernis-Bild OIM2, erzeugt unter Verwendung des Grenz-Bilds und einer Interpolation, auf jedem Verdeckungsbereich platziert.
<Umstellen einer Interpolation>
Die Bildverarbeitungseinrichtung 14 kann eine Funktion eines Umstellens der Verarbeitung unter Verwendung eines Grenz-Bilds, eines invertierten Grenz-Bilds und einer Interpolation, beschrieben in dem ersten Beispiel, und der Verarbeitung unter Verwendung einer Interpolation für ein Grenz-Bild, beschrieben in dem zweiten Beispiel, haben, und kann irgendeinen dieser Typen einer Verarbeitung durch Umstellen für jedes Hindernis ausführen.
Zum Beispiel kann, wenn das benachbarte Hindernis ein Fahrzeug ist, die Verarbeitung durch Bestimmen der Orientierung des Fahrzeugs umgestellt werden. Das bedeutet, dass die Verarbeitung in dem ersten Beispiel dann durchgeführt wird, wenn das benachbarte Fahrzeug auf einer Seite des Fahrzeugs des Benutzers vorhanden ist, und die Verarbeitung in dem zweiten Beispiel durchgeführt wird, wenn es sich vor oder hinter dem Fahrzeug des Benutzers befindet.
Die Orientierung eines Fahrzeugs kann durch Erfassen eines Nummernschilds und eines Reifens in dem Verdeckungsbereich, erfasst durch die Hindernis-Erfassungseinrichtung 12, bestimmt werden. Ein Nummernschild kann von einem Kamerabild durch eine Technik, die die Tatsache verwendet, dass die Nummernschilder dieselbe Größe haben, oder durch eine Technik, die in der Japanischen, offen gelegten Patentveröffentlichung No. 10-302074, zum Beispiel, beschrieben ist, erfasst werden. Bei der letzteren Technik werden kleine Bereiche von einem Bild ausgeschnitten und in ein neurales Netzwerk, das eine Kantenverstärkung und einer Größenskalierung unterworfen wird, gesetzt. Ein kleiner Bereich, der den maximalen Ausgang erfahren hat, wird als die Position des Nummernschilds bestimmt. Ein Reifen kann durch irgendeine der bekannten Techniken unter Verwendung einer Masken-Anpassung und einer Hough-Transformation, erfasst werden.
Es wird bestimmt, dass sich das benachbarte Fahrzeug vor oder hinter dem Fahrzeug des Benutzers befindet, wenn ein Nummernschild erfasst wird, allerdings kein Reifen erfasst wird, und zwar auf einer Seite des Fahrzeugs des Benutzers, wenn ein Reifen erfasst wird, allerdings kein Nummernschild erfasst wird, und angeordnet unter einem bestimmten Winkel in Bezug auf das Fahrzeug des Benutzers, wenn sowohl ein Nummernschild als auch ein Reifen erfasst sind. Auch wenn sowohl ein Nummernschild als auch ein Reifen erfasst sind, ist die Verarbeitung in dem zweiten Beispiel durch Einstellen einer geraden Linie, umfassend den Reifen in der Grenz-Position als die x-Achse, und eine gerade Linie, umfassend das Nummernschild in der Grenz-Position als die y-Achse, möglich.
22 zeigt ein synthetisiertes Bild, erhalten durch Umschalten der Interpolations-Verarbeitung. Das synthetisierte Bild in 22 umfasst ein Hindernis-Bild OIMA, erzeugt durch die Technik, die ein invertiertes Grenz-Bild in dem ersten Beispiel und ein Hindernis- Bild OIMB, erzeugt durch die Technik unter Verwendung einer Interpolation für ein Grenz-Bild in dem zweiten Beispiel, verwendet.
In dieser Ausführungsform wurde ein Fahrzeug, das eine achsensymmetrische Form besitzt, als ein Beispiel eines Hindernisses verwendet. Diese Ausführungsform ist auch für nicht achsensymmetrische Hindernisses effektiv. Der Grund ist derjenige, dass, in der Verarbeitung dieser Ausführungsform, ein Grenz-Bild eines Hindernisses in einer genauen Position ohne einen Fehler platziert wird. Deshalb wird, obwohl ein korrektes Bild eines fehlenden Bildbereichs eines nicht achsensymmetrischen Hindernisses nicht immer vorhanden ist, die Grenz-Position des Hindernisses auf der Fahrzeugseite des Benutzers, was wichtig während eines Fahrens ist, genau ohne einen Fehler angegeben.
Ausführungsform 3
23 stellt einen Basisaufbau einer Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs einer Ausführungsform 3 der vorliegenden Erfindung dar. Wie 23 zeigt, umfasst die Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs dieser Ausführungsform eine Hindernis-Bild-Datenbank 31 zum Speichern von Bilddaten von Objekten als potenzielle Hindernisse, zusätzlich zu der Kamera 11, die Hindernis-Erfassungseinrichtung 12, die Hindernis-Position-Erfassungseinrichtung 13 und einen Bildverarbeitungseinrichtung 14A.
Die Betriebsweise des Bildverarbeitungseinrichtungs 14A ist gegenüber der Bildverarbeitungseinrichtung 14 in den Ausführungsformen 1 und 2 unterschiedlich. Das bedeutet, dass die Bildverarbeitungseinrichtung 14QA den Typ eines Hindernisses, erfasst durch die Hindernis-Erfassungseinrichtung 12, bestimmt, Bilddaten für den bestimmten Typ eines Hindernisses von der Hindernis-Bild-Datenbank 31 liest, und die gelesenen Bilddaten auf einem Umgebungsbild platziert, um es zu der Grenz-Position, erfasst durch die Hindernis-Position-Erfassungseinrichtung 13, als Ersatz-Bilddaten, die einen fehlenden Bildbereich des Umgebungsbilds auffüllen, auszurichten.
Die Bestimmung dieses Typs eines Hindernisses wird im Detail beschrieben.
Die Hindernis-Bild-Datenbank 31 umfasst Daten über Hindernisse, wie beispielsweise das Seitenverhältnis, das Seitenprofil und das Modell, wenn Fahrzeuge als ein Beispiel herangezogen werden.
Die 24A und 24B stellen ein Fahrzeug dar, wie es von oberhalb und von der Vorderseite, jeweils, gesehen wird. Das „Seitenverhältnis des Fahrzeugs" ist ein Verhältnis der Länge L zu der Breite W in 24A. Der Abstand zwischen dem rechten und dem linken Reifen eines Fahrzeugs ist ungefähr gleich zu der Breite W des Fahrzeugs. Deshalb kann, durch Messen dieses Abstands, die Breite W eines Fahrzeugs erhalten werden. Das „Seitenprofil eines Fahrzeugs" ist ein dreidimensionales Profil CSF eines Fahrzeugs in 24B, das als ein Grenz-Bild verwendet werden kann.
25 stellt ein Beispiel von Modell-Daten dar, wobei die Modell-Daten Modell-Identifikations-Daten, verwendet für eine Modell-Identifizierung, Farb-Daten, die verfügbare Farben für jeweilige Modelle darstellen, und Anzeige-Daten, verwendet für eine Bildanzeige, sind.
Die „Modell-Identifikations-Daten" beziehen sich auf ein binär codiertes Bild, in dem, wenn Kanten und Merkmal-Punkten eines Kamerabilds für eine Modell-Identifikation, zum Beispiel, verwendet werden, ein Pixel, umfassend eine Kante oder einen Merkmal-Punkt, als „1" gesetzt wird, und ein Pixel, das keine Kante oder keinen Merkmal-Punkt umfasst, auf „0" gesetzt wird. Die Größe von solchen binär codierten Bildern wird auf einen festgelegten Wert normiert.
Als die „Farb-Daten" können alle Farben jeweiliger Modelle, verfügbar auf dem Markt, gespeichert werden, um sie bei der Modell-Identifizierung unter Verwendung der Helligkeit und der Positionierung eines Hindernis-Bilds zu verwenden, was später beschrieben wird. In diesem Beispiel werden Farb-Daten durch eine Grauskala mit 256 Niveaus für jeden RGB angegeben. Genauer gesagt wird Rot durch (255, 0, 0), Grün durch (0, 255, 0) und Blau durch (0, 0, 255) angegeben. Die „Anzeige-Daten" werden für eine Platzierung eines Hindernis-Bilds verwendet, was später beschrieben wird.
Da ein Fahrzeug, nahe zu dem Fahrzeug des Benutzers, in irgendeiner Richtung orientiert sein kann, werden die das Modell identifizierenden Daten und die Anzeige-Daten in erwünschter Weise so gehalten, dass sie in Daten von irgendeinem Sichtpunkt transformierbar sind. Dies kann durch Speichern von dreidimensionalen Profil-Daten von Fahrzeugen realisiert werden.
Die Betriebsweise der Bildverarbeitungseinrichtung 14A wird im Detail beschrieben. Die Bildverarbeitungseinrichtung 14A bestimmt grob den Typ eines Hindernisses, erfasst durch die Hindernis-Erfassungseinrichtung 12, wie beispielsweise, ob das Hindernis ein Personenwagen oder ein Motorrad ist, und, basierend auf dem Bestimmungsergebnis, wird das Modell identifiziert, falls das Hindernis ein Personenwagen ist.
26 zeigt ein Flussdiagramm einer Betriebsweise der Bildverarbeitungseinrichtung 14A in dieser Ausführungsform. Zuerst wird, wenn einmal ein Hindernis durch die Hindernis-Erfassungseinrichtung 12 erfasst ist (Schritt S31), eine grobe Bestimmung des Typs des Hindernisses, wie beispielsweise darüber, ob das Hindernis ein Personenfahrzeug ist oder nicht (Schritt S32), und darüber, ob das Hindernis ein Motorrad ist oder nicht (Schritt S33), durchgeführt. Falls das Hindernis dahingehend bestimmt wird, dass es ein Personenwagen ist, und zwar im Schritt S32, wird das Modell des Personenwagens im Schritt S34 identifiziert. Falls das Hindernis dahingehend bestimmt wird, dass es nicht ein Personenwagen ist (NEIN im Schritt S32), wird bestimmt, ob das Hindernis ein Motorrad ist oder nicht. Falls das Hindernis dahingehend bestimmt ist, dass es ein Motorrad ist, und zwar im Schritt S33, wird das Modell des Motorrads im Schritt S35 identifiziert. Falls das Hindernis dahingehend bestimmt ist, dass es nicht ein Motorrad ist (NEIN im Schritt S33), schreitet das Verfahren weiter zu einem anderen Bestimmungsschritt darüber, ob das Hindernis eine Person, zum Beispiel, ist oder nicht.
Die Hindernis-Bestimmungsschritte S32 und S33 können unter Verwendung eines neuralen Netzwerks, und dergleichen, realisiert werden. Ein neurales Netzwerk kann ein Muster unter zuvor erlernten Mustern, die am besten eine Eingabe anpassen, ausgegeben werden. Deshalb ist es, indem ein neurales Netzwerk eine große Menge an Daten über verschiedene Fahrzeugen als „Fahrzeug-Muster" und eine große Menge an Daten über verschiedene Motorräder als „Motorrad-Muster" lernt, möglich, zu bestimmen, ob die Daten über das erfasste Hindernis einen Personenwagen oder ein Motorrad anzeigen oder nicht. Es ist natürlich möglich, die das Modell identifizierenden Daten und die Anzeige-Daten, gespeichert in der Hindernis-Bild-Datenbank 31, als die Lernmuster zu verwenden. Das bedeutet, dass die Bestimmungsschritte S32 und S33 als ein einzelner Schritt vereinheitlicht werden können.
Wenn einmal das Modell in den Schritten S34 und S35 identifiziert ist, werden Bilddaten des identifizierten Bilds von der Hindernis-Bild-Datenbank 31 gelesen, und die gelesenen Bilddaten werden auf dem Umgebungsbild platziert, um es zu der Grenz-Position, erfasst durch die Hindernis-Position-Erfassungseinrichtung 13, auszurichten (Schritt S36).
Ein Verfahren einer Modell-Identifizierung wird beschrieben. 27 zeigt ein Flussdiagramm einer Modell-Identifizierung in dieser Ausführungsform.
Im Schritt S401 werden zwei Variable M0 und M2 auf 0 initialisiert. Im Schritt S402 werden eine typische Farbe, Kanten und Merkmal-Punkte von einem Verdeckungsbereich, erfasst durch die Hindernis-Erfassungseinrichtung 12, extrahiert. Die typische Farbe kann durch Erhalten eines Histogramms für alle Pixel in dem Verdeckungsbereich extrahiert werden. Kanten und Merkmal-Punkte können unter Verwendung einer Konvolution mit einem Sobel-Operator extrahiert werden. Ein Pixel, von dem eine Kante oder ein Merkmal-Punkt erfasst ist, wird auf „1" gesetzt, und ein Pixel, von dem keine Kante oder ein Merkmal-Punkt erfasst ist, wird auf „0" gesetzt, um ein binär codiertes Kanten/Merkmal-Punkt-Bild zu erzeugen.
Im Schritt S403 wird ein Modell von Modell-Daten, gespeichert in der Hindernis-Bild-Datenbank 31, ausgewählt, und die das Modell identifizierenden Daten und die Farb-Daten für das Modell werden aufgesucht. Unter Verwendung der aufgesuchten Daten wird im Schritt S404 und in den darauf folgenden Schritten bestimmt, ob das Modell, ausgewählt im Schritt S403, das erfasste Hindernis anpasst oder nicht.
Zuerst wird im Schritt S404 geprüft, ob eine Farbe, nahe zu der typischen Farbe des erfassten Hindernisses, in den Farb-Daten des Modells umfasst ist oder nicht. Die Nähe der Farbe kann durch Messen des Abstands zwischen der typischen Farbe und den Farb-Daten des Modells in dem dreidimensionalen RGB-Raum bestimmt werden. Falls eine Farbe ausreichend nahe zu der typischen Farbe in den Farb-Daten existiert, geht der Vorgang weiter zu Schritt S405 für einen Vergleich des Kanten/Merkmal-Punkts. Falls keine Farbe ausreichend nahe zu der typischen Farbe existiert, wird das erfasste Hindernis unterschiedlich zu dem Modell, ausgewählt im Schritt S403, bestimmt, und das Verfahren schreitet weiter zu Schritt S408 für einen Vergleich mit Daten eines anderen Modells (Schritt S403).
Im Schritt S405 wird der Grad einer Anpassung M1 zwischen dem Kanten/Merkmal-Punkt des Hindernisses und den das Modell identifizierenden Daten für das Modell, ausgewählt im Schritt S403, berechnet. Dies kann durch Vergleichen von zuvor erzeugten, binär codierten Kanten/Merkmal-Punkt-Bilds des Hindernisses mit dem binär codierten Kanten/Merkmal-Punkt-Bild des ausgewählten Modells berechnet werden.
Genauer gesagt wird der Grad einer Anpassung M1 durch den Ausdruck (2) nachfolgend berechnet:
wobei f(u, v) ein Bild, erhalten durch Normieren des binär codierten Kanten/Merkmal-Punkt-Bilds des Hindernisses auf die Größe des binär codierten Kanten/Merkmal-Punkt-Bilds der Modell-Daten, bezeichnet, und g(u, v) das binär codierte Kanten/Merkmal-Punkt-Bild der ausgewählten Modell-Daten bezeichnet, wobei u und v die Größe des binär codierten Kanten/Merkmal-Punkt-Bilds der Modell-Daten angibt.
Der Zähler des vorstehenden Ausdrucks gibt die gesamte Anzahl der Kanten/Merkmal-Punkte, die in einer Position zwischen dem Hindernis und den Modell-Daten passen, an, und der Nenner gibt die gesamte Zahl der Kanten/Merkmal-Punkte an, die in dem Hindernis und in den Modell-Daten existieren. Das bedeutet, dass, wenn der Wert von M1 größer ist, die zwei binär codierten Kanten/Merkmal-Punkt-Bilder noch ähnlicher zueinander sind, und wenn der Wert von M1 kleiner ist, sind die zwei Bilder unterschiedlicher zueinander.
Im Schritt S406 wird bestimmt, ob der Grad einer Anpassung M1 größer als der Wert der Variablen M0 ist oder nicht. Falls M1 kleiner ist, wird das Hindernis als unterschiedlich gegenüber dem ausgewählten Modell bestimmt, und das Verfahren geht weiter zu Schritt S408 für einen Vergleich mit Daten eines anderen Modells (S403).
Falls M1 größer ist, wird der Wert von M0 auf M1 gesetzt, und der Wert von M2 wird auf die Modell-Zahl des ausgewählten Modells, um als ein Modell-Kandidat gehalten zu werden, gesetzt. Das Verfahren geht dann weiter zu Schritt S408 für einen Vergleich mit Daten eines anderen Modells (S403). Demzufolge hält die Variable M0 nun den Wert des Grads einer Anpassung des wahrscheinlichsten Modell-Kandidaten, verwendet für einen Vergleich bis jetzt. Auf diese Art und Weise kann, durch Vergleichen des erfassten Hindernisses mit allen Modellen, gespeichert in der Hindernis-Bild-Datenbank 31, ein Modell, das die höchste Ähnlichkeit zu dem Hindernis zeigt, identifiziert werden.
Wenn einmal ein Vergleich mit allen Modellen abgeschlossen ist (JA im Schritt S408), geht das Verfahren weiter zu Schritt S409, wo bestimmt wird, ob der Modell-Kandidat ausreichend ähnlich zu dem Hindernis ist oder nicht. Dies kann durch Prüfen vorgenommen werden, ob der Grad einer Anpassung M0 des Modells, angezeigt durch M2, bestimmt dahingehend, dass es die höchste Ähnlichkeit besitzt, größer als ein vorbestimmter Wert ist oder nicht. Falls M0 größer als der vorbestimmte Wert ist, wird entschie den, dass das Hindernis ausreichend ähnlich zu dem Modell M2 ist, und das Verfahren wird mit der Entscheidung beendet, dass „das Modell des erfassten Hindernisses M2 ist" (S410). Falls M0 kleiner als der vorbestimmte Wert ist, wird entschieden, dass das Hindernis nicht ausreichend ähnlich zu dem Modell M2 ist, und das Verfahren wird mit der Entscheidung beendet, dass „das Modell des erfassten Hindernisses nicht identifizierbar ist" (S411).
Die Berechnung des Grades einer Anpassung an verschiedene Modell-Daten kann parallel, nicht aufeinander folgend, wie vorstehend beschrieben ist, vorgenommen werden, um die Verarbeitungszeit zu verkürzen.
Eine Modell-Identifikation eines Motorrads kann in einer Art und Weise ähnlich zu derjenigen, die in 27 dargestellt ist, unter Verwendung von Motorrad-Modell-Daten, gespeichert in der Hindernis-Bild-Datenbank 31, durchgeführt werden.
Die Typ-Bestimmung und die Modell-Identifikation eines Hindernisses kann durch einen Vorgang ohne eine grobe Typ-Bestimmung, unter Verwendung aller Fahrzeug-Modell-Daten und Motorrad-Modell-Daten, gespeichert in der Hindernis-Bild-Datenbank 31, als die Hindernis-Daten, durchgeführt werden.
Als die Fahrzeug-Modell-Daten können Daten von grob klassifizierten Modellen, wie beispielsweise einem Personenfahrzeug, einem Lieferwagen, einem leichten Lastkraftwagen und einem Lastkraftwagen verwendet werden.
Die Hindernis-Bild-Datenbank 31 umfasst vorzugsweise eine Einrichtung zum Aktualisieren der Modell-Daten. Zum Beispiel kann die Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs dieser Ausführungsform periodisch auf eine Datenbank zugreifen, die konstant aktualisierte Modell-Daten umfasst, um die Modell-Daten in der Hindernis-Bild-Datenbank 31 zu aktualisieren. Die Modell-Daten können über ein Speicher-Medium, wie beispielsweise eine CD und eine DVD, oder durch Zugreifen auf eine andere Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs, das aktualisierte Modell-Daten besitzt, über Zwischen-Fahrzeug-Kommunikationen, aktualisiert werden, um die Modell-Daten zu empfangen.
Ein Verfahren zur Identifikation eines Hindernisses, das Bilder verwendet, ist in O. Hasegawa et al., „On-line identification of an object in a general road image", Seventh Symposium on Sensing via Image Information Collected Papers, Seiten 221–226, beschrieben (Literatur 2). Ein anderes Beispiel des Verfahrens zum Identifizieren eines Fahr zeugs-Modells unter Verwendung von Bildern ist in der Japanischen, offengelegten Patenveröffentlichung 2001-101405 beschrieben. In diesem Verfahren wird eine große Menge an Daten über verschiedene Modelle zusammengestellt und gruppiert und wird als Lernbilder verwendet, um eine Modell-Identifikation zu realisieren.
Es ist auch möglich, direkt Modell-Informationen über ein benachbartes Fahrzeug, erkannt als ein Hindernis, über eine Zwischen-Fahrzeug-Kommunikation zu erhalten. Alternativ können Modell-Informationen von dem Nummernschild eines benachbarten Fahrzeugs, erkannt als ein Hindernis, erhalten werden.
Als nächstes wird die Platzierung des Hindernis-Bilds im Schritt S36 in 27 beschrieben. In diesem Schritt werden Daten, die das Hindernis darstellen, erfasst durch die Hindernis-Erfassungseinrichtung 12, auf dem Umgebungsbild platziert, um das Hindernis in einer genauen Position so zu präsentieren, dass der Benutzer keine Unnatürlichkeit für das sich ergebende Bild empfindet.
28 zeigt ein Flussdiagramm der Platzierung eines Hindernis-Bilds im Schritt S36. In diesem Beispiel wird angenommen, dass, in dem Ablauf, der in 26 dargestellt ist, das Hindernis als ein Fahrzeug bestimmt worden ist und das Modell des Fahrzeugs im Schritt S34 identifiziert worden ist.
Bilddaten für das identifizierte Fahrzeug-Modell werden von der Hindernis-Bild-Datenbank 31 gelesen, um ein Bild eines benachbarten Hindernisses zu bestimmen, um dem Benutzer präsentiert zu werden (Schritt S51). Das Bild, erhalten in diesem Schritt, ist in dem Sichtpunkt so transformiert worden, dass das Bild die Grenz-Position, erfasst durch die Hindernis-Position-Erfassungseinrichtung 13, anpasst. Wenn ein Bild, gesehen von oberhalb des Fahrzeugs, dem Benutzer als ein Umgebungsbild präsentiert wird, muss das Bild des benachbarten Hindernisses ein Bild, gesehen von oberhalb, wie dies in 7A dargestellt ist, sein. Eine Darstellung oder Bilddaten eines tatsächlichen Fahrzeugs können in dem Bild für das benachbarte Hindernis verwendet werden.
Das gelesene Bild für das benachbarte Hindernis wird auf dem Umgebungsbild platziert, um es zu der Grenz-Position des Hindernisses an der Fahrzeugseite des Benutzers, erfasst durch die Hindernis-Position-Erfassungseinrichtung 13, auszurichten (Schritt S52). In diesem Beispiel kann, da es bekannt ist, dass das Hindernis ein Fahrzeug ist, die Grenz-Position des Hindernisses an der Fahrzeugseite des Benutzers auch durch Be stimmen der Kontakt-Position eines Reifens des Fahrzeugs mit der Straßenfläche von dem Bild so, wie dies nachfolgend beschrieben ist, erfasst werden.
29 zeigt ein synthetisiertes Bild, erzeugt von dem Bild, dargestellt in 7B, durch eine Straßenflächen-Projektion, wie dies in der Japanischen Patentanmeldung No. 2000-613188 beschrieben ist. Wie in Bezug auf die Probleme nach dem Stand der Technik beschrieben ist, wird eine Straßenflächen-Projektion unter der Annahme durchgeführt, dass alle Objekte in einem Bild in der Ebene der Straßenfläche liegen. Deshalb wird ein Bild eines benachbarten Fahrzeugs, das eine Höhen-Komponente besitzt, so verzerrt, wie dies in 29 dargestellt ist, und die projizierte Position ist stark zu der der tatsächlichen Position unterschiedlich. Allerdings werden Reifen-Bereiche TAR1 und TAR2, die in Kontakt mit der Straßenfläche stehen, die keine Höhen-Komponente haben, in genauen Positionen projiziert.
Im Hinblick auf das Vorstehende kann ein synthetisiertes Bild, das genau in relativen Positionen ist, unter Verwendung der Kontakt-Positionen der Reifen mit der Straßenfläche als die Referenz erzeugt werden. Eine Bestimmung der Kontakt-Positionen der Reifen mit der Straßenfläche wird unter Bezugnahme auf die relevanten Zeichnungen beschrieben.
30 zeigt ein Bild eines Bereichs, erfasst als ein Hindernis, durch die Hindernis-Erfassungseinrichtung 12. Die Hindernis-Position-Erfassungseinrichtung 13 extrahiert eine Kante von diesem Bild unter Verwendung eines Sobel-Operators, beschrieben vorstehend, und von dem Ergebnis einer Kanten-Extraktion, findet einen Kantenbereich heraus, der ein Bogen-Muster CP1, dargestellt in 31, anpasst, unter Simulieren eines unteren Bereichs eines Reifens. Diese Verarbeitung kann auch unter Verwendung einer Versuchs- bzw. Masken-Anpassung, einer Hough-Transformation, und dergleichen, durchgeführt werden.
32 stellt das Ergebnis der Kanten-Extraktion von dem Bild 30 dar. In 32 werden Anpassungsbereiche MAR1, MAR2, und dergleichen, als Kanten-Bereiche erhalten, die das Bogen-Muster CP1 anpassen. In einem Fahrzeug werden Reifen allgemein vorne und hinten in Paaren platziert. Deshalb werden zwei Anpassungsbereiche, angeordnet Seite an Seite, als die Kontakt-Positionen von Reifen mit der Straßenfläche bestimmt. Dies bedeutet, dass, in dem Beispiel in 32, die passenden Bereiche MAR1 und MAR2 als die Kontakt-Positionen der Reifen mit der Straßenfläche bestimmt werden.
Alternativ kann die Tatsache, dass die Reifen immer in Kontakt mit einem Nicht-Verdeckungsbereich stehen, als ein Zustand für eine Erfassung verwendet werden.
Danach überlegt die Bildverarbeitungseinrichtung 14A die Bilddaten, gelesen von der Hindernis-Bild-Datenbank 31, auf die Kontakt-Positionen MAR1 und MAR2 der Reifen mit der Straßenfläche, um ein synthetisiertes Bild eines benachbarten Fahrzeugs zu erzeugen. Mit anderen Worten werden die gelesenen Bilddaten so gedreht, dass die Vorder- und Hinterreifen auf der geraden Linie angeordnet sind, die die zwei Kontakt-Positionen MAR1 und MAR2 miteinander verbinden. Die Daten des gedrehten Bilds werden vergrößert und verkleinert, so dass die Positionen der Vorder- und Hinterreifen die Kontakt-Positionen MAR1 und MAR2 anpassen, um ein synthetisiertes Bild zu erzeugen. 33 stellt das so erzeugte, synthetisierte Bild dar.
Wenn sich ein benachbartes Fahrzeug vor oder hinter dem Fahrzeug des Benutzers befindet, ähnlich einem Fahrzeug 3 auf der Rückseite des Fahrzeugs 1 des Benutzers in 29, werden keine Bilder der Reifen des benachbarten Fahrzeugs mit der Kamera an dem Fahrzeug des Benutzers aufgenommen, da die Reifen durch die Stoßstange des Fahrzeugs verdeckt sind. In diesem Fall ist das Grenz-Position-Erfassungs-Verfahren, das Reifen, beschrieben vorstehend, verwendet, nicht anpassbar. Anstelle davon kann das Nummernschild, zum Beispiel, für eine Grenz-Position-Erfassung verwendet werden. Die Verarbeitung unter Verwendung eines Nummernschilds wird unter Bezugnahme auf 34 beschrieben.
In 34 bezeichnet das Bezugszeichen 41 ein Fahrzeug eines Benutzers, 42 bezeichnet eine Straßenfläche, 43 bezeichnet eine Kamera, montiert an dem Fahrzeug 41 des Benutzers, 45 bezeichnet ein benachbartes Fahrzeug in einem Bild, aufgenommen mit der Kamera 43, und 45a bezeichnet ein Nummernschild des benachbarten Fahrzeugs 45. Wie in 34 dargestellt ist, wird angenommen, dass ein wahlweiser Punkt in der realen Welt durch die Koordinaten (Xw, Yw, Zw) dargestellt wird. Die Ebene Xw-Zw ist eine Ebene parallel zu der Straßenfläche, die Richtung Zw ist eine Vorwärts/Rückwärts-Richtung in Bezug auf das Fahrzeug des Benutzers, die Richtung Xw ist eine Rechts/Links-Richtung in Bezug auf das Fahrzeug des Benutzers, und die Richtung Yw ist eine Richtung senkrecht zu der Straßenfläche. 34 stellt auch ein Kamera-Koordinaten-System (Xe, Ye, Ze), das eine Achse Ze als die Richtung der optischen Achse der Kamera besitzt, und ein Bild-Koordinaten-System (Xi, Yi) eines Bilds, aufgenom men mit der Kamera, dar. Dieses Koordinaten-Systeme besitzen die Beziehungen, die durch die Ausdrücke (3) und (4) nachfolgend angegeben sind.
wobei f und r bekannte Konstanten sind, bestimmt mit internen Parametern und einer Position der Kamera 43.
Die Position des Nummernschilds 45a in dem Kamera-Bild wird erfasst. Diese Erfassung kann durch das Verfahren, offenbart in der Japanischen, offengelegten Patentveröffentlichung No. 10-302074, beschrieben vorstehend, zum Beispiel, durchgeführt werden. Das bedeutet, dass kleine Bereiche von dem Bild ausgeschnitten werden und in ein neurales Netzwerk eingesetzt werden, nachdem sie einer Kantenverstärkung und einer Größenskalierung unterworfen sind. Ein kleiner Bereich, der der maximalen Ausgabe gehört, wird als Nummernschild-Position beschrieben.
Es wird angenommen, dass die Koordinaten der vier Ecken des Nummernschilds 45a, erfasst in dem Kamerabild, sind
Pi(Xi0, Yi0), Qi(Xi1, Yi1), Ri(Xi2, Yi2), Si(Xi3, Yi3),
und die Koordinaten der vier Ecken des Nummernschilds 45a in der realen Welt
Pw(Xw0, Yw0, Zw0), Qw(Xw1, Xw2, Zw1), Rw(Xw2, Yw2, Zw2) Sw(Xw3, Yw3, Zw3) sind.
Unter der Annahme, dass die Größe der Nummernschilder standardisiert ist, und dass ein Nummernschild senkrecht zu der Straßenfläche ausgerichtet ist, würden die Koordinaten der vier Ecken in der realen Welt die Beziehungen haben, die durch den Ausdruck (5) nachfolgend angegeben sind. Yw0 = Yw1, Yw2 = Yw3 Yw2 – Yw0 = b (Yw1 – Xw0)2 +(Zw1 – Zw0)2 = (Xw3 – Xw2)2 + (zw3 – Zw2)2 = a2 Xw1 > Xw0, Xw3 > Xw2 (5) wobei a und b bekannte Werte sind, die die Länge und die Breite des Nummernschilds 45a darstellen. Die Werte Pi, Qi, Ri und Si sind durch die Durchführung der Nummernschild-Position-Erfassung unter Verwendung des Kamerabilds bekannt. Deshalb können, durch Substituieren dieser Werte in die Ausdrücke (3) und (4) und Auflösen durch das Verfahren der kleinsten Quadrate, oder dergleichen, unter Verwendung des Ausdrucks (5) als Beschränkungen, die Positionen Pw, Qw, Rw und Sw des Nummernschilds 45a bestimmt werden.
Da das Nummernschild 45a an der Position der Grenze des benachbarten Fahrzeugs näher zu dem Fahrzeug des Benutzers annehmbar ist, kann diese Grenz-Position des benachbarten Fahrzeugs von der Position des Nummernschilds 45a in der realen Welt abgeschätzt werden.
Im Schritt S34 in 26 wird, falls das Fahrzeug-Modell des Hindernisses dahingehend fehlschlägt, identifiziert zu werden, die Platzierung des Hindernis-Bilds im Schritt S36 in der folgenden Art und Weise durchgeführt. Obwohl keine Hindernis-Bilddaten verfügbar sind, ist es bekannt, dass das Hindernis ein Fahrzeug ist. Deshalb wird die Grenz-Position des Hindernisses an der Fahrzeugseite des Benutzers über eine aktive Erfassung, durch eine Nummernschild-Erkennung, oder dergleichen, bestimmt. Eine Darstellung, ein Wort oder ein Code, ein Fahrzeug darstellend, wird angezeigt, um sie zu der Grenz-Position, wie in Ausführungsform 1, auszurichten. Alternativ kann, wie in Ausführungsform 2, ein invertiertes Grenz-Bild, ein Grenz-Bild und eine Interpolation von Pixeln verwendet werden.
Wenn ein benachbartes Fahrzeug direkt über Zwischen-Fahrzeug-Kommunikationen, oder dergleichen, erfasst wird, können Bilddaten des Fahrzeugs auch gleichzeitig während der Kommunikationen empfangen werden.
35 stellt ein Beispiel eines synthetisierten Bilds in dieser Ausführungsform dar, erhalten unter Durchführen der Bild-Synthetisierungstechniken, die in dieser Ausführungsform beschrieben sind, basierend auf Kamerabildern, aufgenommen so, wie dies in 38 dargestellt ist.
36 stellt ein Beispiel eines Bilds dar, in dem Bereiche, belegt durch Fahrzeuge, durch Rechtecke dargestellt sind, und ein Wort auf jedem Bereich überlegt ist. In 36 wird das Wort „Fahrzeug" überlegt, um die Aufmerksamkeit des Benutzers zu erwecken. Die Grenze jedes rechteckigen Bereichs an der Fahrzeugseite des Benutzers wird zu der Grenz-Position des entsprechenden, benachbarten Hindernisses, erfasst durch die Hindernis-Position-Erfassungseinrichtung 13, ausgerichtet. Dies verhindert, dass das Fahrzeug des Benutzers in Kontakt mit dem benachbarten Fahrzeug, im Gegensatz zu dem zweiten Stand der Technik, gelangt, indem eine Darstellung einfach übergangen wird. Anstelle des Worts „Fahrzeug" können andere Worte, Symbole und Darstellungen, die beim Erwecken der Aufmerksamkeit des Benutzers hilfreich sind, auch verwendet werden.
In dieser Ausführungsform wurden Kraftfahrzeuge und Motorräder als Beispiele der Hindernisse verwendet. Allerdings sind die Techniken in dieser Ausführungsform auch für andere Typen von Hindernissen effektiv.
Zum Beispiel kann, wenn das Objekt eine Person ist, die genaue Position der Person durch Bestimmen der Kontakt-Position der Person mit der Straßenfläche lokalisiert werden. Zusätzlich kann, durch vorheriges Bestimmen des Seitenprofils der Person, der Bereich der Person in den Kopfteil, den oberen Körperteil, den unteren Körperteil, und dergleichen, unterteilt werden. Das bedeutet, dass Personen-Daten, umfassend Kopf-Daten, Daten über den oberen Körper und Daten über den unteren Körper, in der Hindernis-Bild-Datenbank gespeichert sind. Die Kopf-Daten umfassen verschiedene Daten-Elemente über die Haarart. Die Daten über den oberen Körper umfassen Kleidungs-Daten über den oberen Körper, wie beispielsweise Shirt mit kurzen Ärmeln und Shirt mit langen Ärmeln. Die Daten über den unteren Körper umfassen Kleidungs-Daten über den untern Körper, wie beispielsweise eine Jeans oder eine Hose. Ein Bild der Person als ein Objekt kann unter Verwendung irgendwelcher dieser Daten-Elemente für jeden erfassten Teil erzeugt werden.
Ein Verfahren zum Erfassen eines Körperteils einer Person unter Verwendung eines Bilds ist in Haritaoglu et al., „W4: Who, When, Where, What: A Real Time System for Detecting and Tracking People", Third, Face an Gesture Recognition Conference, Seiten 222–227 (Literatur 3), zum Beispiel, beschrieben. Entsprechend dem Verfahren, das in dieser Literatur beschrieben ist, können Teile eines Personen-Körpers, wie beispielsweise der Kopf, die Hände, die Beine, die Füße und der Torso, individuell durch ein Stereo-Verfahren erkannt werden.
Ausführungsform 4
46 stellt konzeptmäßig einen Grundaufbau einer Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs der Ausführungsform 4 der vorliegenden Erfindung dar. Die Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs der 46 umfasst einen Grundaufbau: eine Kamera 11 zum Aufnehmen von Bildern der Umgebung eines Fahrzeugs; eine Hindernis-Erfassungseinrichtung 12 zum Erfassen eines Hindernisses in der Umgebung des Fahrzeugs; eine Bildverarbeitungseinrichtung 14, die Bilder, aufgenommen mit der Kamera 11 (Kamera-Bilder), zum Erzeugen eines Bilds, das die Situation um das Fahrzeug herum von den empfangenen Kamerabildern darstellt, empfängt; und eine Fehl-Bildbereich-Erfassungseinrichtung 41 zum Erfassen eines fehlenden Bildbereichs in einem Umgebungsbild. Wenn ein Hindernis durch die Hindernis-Erfassungseinrichtung 12 erfasst wird, erfasst die Fehl-Bildbereich-Erfassungseinrichtung 41 einen fehlenden Bildbereich, in dem keine Bilddaten von der Kamera 11 aufgrund des Vorhandenseins des Hindernisses erhalten werden.
Das Merkmal der Ausführungsform 4, das sich von der Ausführungsform 1 unterscheidet, ist die Fehl-Bildbereich-Erfassungseinrichtung 41. Die fehlende Bildbereich-Erfassungseinrichtung 41 erfasst einen fehlenden Bildbereich, der dahingehend fehlschlägt, Bilddaten von der Kamera 11 zu erhalten, wenn ein Hindernis durch die Hindernis-Erfassungseinrichtung 12 erfasst wird, und die Bildverarbeitungseinrichtung 14 füllt mindestens einen Teil des fehlenden Bildbereichs mit Ersatz-Bilddaten durch Interpolation und Synthese, wie in den Ausführungsformen, die vorstehend beschrieben sind, auf, um ein Fahrzeug-Umgebungsbild zu vervollständigen.
Die fehlende Bildbereich-Erfassungseinrichtung 41 hält wahlweise Modelle einer dreidimensionalen Form, bezeichnet als virtuelle Hindernis-Formen, die grobe Formen von Hindernissen imitieren. 47 stellt ein Beispiel einer Form eines virtuellen Hindernisses dar. Andere Formen eines virtuellen Hindernisses, wie beispielsweise ein Würfel oder irgendein Polyeder, und modellierte Formen von tatsächlichen Hindernissen, können auch verwendet werden. Die Größe einer Form eines virtuellen Hindernisses kann wahlweise bestimmt werden. Falls angenommen wird, dass ein erfasstes Hindernis ein Fahrzeug ist, kann die Größe eine Größe von normalen Fahrzeugen sein, wie beispielsweise 1,7 m W (kleine Seite) × 4,2 m L (große Seite) × 1,4 mm H (Höhe), zum Beispiel. Es ist auch möglich, eine Vielzahl von Formen virtueller Hindernisse zu halten, den Typ eines Hindernisses in der Art und Weise, die in Ausführungsform 3 beschrieben ist, zu bestimmen, und die Form eines virtuellen Hindernisses basierend auf dem bestimmten Typ auszuwählen.
Die bestimmte Form des virtuellen Hindernisses wird an dem Bereich, erkannt als ein Hindernis, angepasst, und ein Kamerabild wird auf die Form projiziert. Ein Bereich der Form des virtuellen Hindernisses, auf dem kein Bild während der Projektion des Kamerabilds projiziert wird, wird als ein fehlender Bildbereich angesehen. Der Bildverarbeitungseinrichtung 14 führt eine Bild-Synthese durch die Interpolation/Überlagerung, beschrieben vorstehend, durch, um den fehlenden Bildbereich mit Bilddaten aufzufüllen, um dadurch ein Umgebungsbild zu erzeugen. Das bedeutet, dass, unter Verwendung einer Form eines virtuellen Hindernisses, die Bild-Projektionsebene und der fehlenden Bildbereich gleichzeitig angenommen werden können.
48 zeigt ein Flussdiagramm einer Verarbeitung in dieser Ausführungsform. Zuerst wird, wie in 49 dargestellt ist, ein Verdeckungsbereich durch die Hindernis-Erfassungseinrichtung 12 erfasst, und die Länge L1 des Bereichs wird gemessen (Schritt S61), wie in Ausführungsform 1. Der Verdeckungsbereich wird als eine Ebene erhalten.
Eine Form eines virtuellen Hindernisses wird an den erfassten Verdeckungsbereich angepasst (Schritt S62). Als die Form des virtuellen Hindernisses wird eine Form, gebildet basierend auf der Form und der Größe eines Fahrzeugs, wie dies in 47 dargestellt ist, verwendet. Wenn die gemessene Länge L1 des Verdeckungsbereichs nahe zu der Länge L der Hauptseite liegt und ausreichend länger als die Länge W der kleinen Seite ist, wird die Form des virtuellen Hindernisses so platziert, dass die große Seite zu dem Verdeckungsbereich ausgerichtet ist, wie dies in 50 dargestellt ist. Im Gegensatz dazu wird, wenn die Länge L1 des Verdeckungsbereichs nahe zu der Länge W der kleinen Seite liegt und ausreichend kürzer als die Länge L der großen Seite ist, die Form des virtuellen Hindernisses so platziert, dass die kleine Seite zu dem Verdeckungsbereich ausgerichtet ist.
Wie in 51 dargestellt ist, wird ein Bereich der angepassten Form des virtuellen Hindernisses näher zu dem Fahrzeug des Benutzers als eine Bild-Projektionsebene bestimmt, um ein Hindernis-Bild, aufgenommen mit der Kamera, auf die Bild-Projektionsebene zu projizieren (Schritt S63). Nach dieser Projektion wird der Bereich der angepassten Form des virtuellen Hindernisses, ein anderer als die Bild-Projektionsebene, als ein fehlender Bildbereich angesehen (Schritt S64). Die Interpolation/Überlagerung, beschrieben vorstehend, wird für diesen fehlenden Bildbereich durchgeführt, um dadurch ein synthetisiertes Bild zu erzeugen (Schritt S65).
Die 52A, 52B, 53A und 53B stellen konzeptmäßig die Ergebnisse der Anpassung einer Form eines virtuellen Hindernisses in der Situation, dargestellt in 45, dar, in der ein Fahrzeug 2 an der Rückseite des Fahrzeugs 1 eines Benutzers vorhanden ist. Die 52A und 52B sind von einer Seite aus gesehen, während die 53A und 53B von oberhalb gesehen sind.
(Anwendung auf Objekte, andere als Fahrzeuge)
Die Anwendung der vorliegenden Erfindung ist nicht auf Fahrzeuge beschränkt. Zum Beispiel ist die vorliegende Erfindung bei Überwachungssystemen innen und außen und bei Sichtsystemen für mobile Roboter anwendbar.
Eine Anwendung eines Überwachungssystems für innen wird als ein Beispiel beschrieben. In einem Überwachungssystem für innen kann, als ein System, das Bild liefert, eine Vielzahl von Kameras so platziert werden, um den mit Bild versehenen Bereich zu erweitern, und Bilder von der Vielzahl der Kameras können in ein Bild zum Überwachen durch Anwenden einer Technik einer Synthese eines virtuellen Sichtpunkts synthetisiert werden. 54 ist eine konzeptmäßige Ansicht eines Überwachungssystems, in dem zwei Kameras 11A und 11B Bilder von einem Raum aufnehmen. Wie in 54 dargestellt ist, sind ein Tisch TB und zwei Stühle CH1 und CH2 in dem Raum vorhanden. Bilder, aufgenommen mit den zwei Kameras 11A und 11B, werden so synthetisiert, um ein virtuelles Sichtpunkt-Bild, betrachtet über eine virtuelle Kamera VC, bereitzustellen.
Der Mittenbereich des Tischs TB ist nicht durch irgendeine der Kameras 11A und 11B abgedeckt, und schlägt demzufolge dahingehend fehl, Bilddaten zu erhalten, obwohl er nicht ein Verdeckungsbereich ist. Deshalb bildet dieser Bereich einen fehlenden Bildbereich in dem virtuellen Sichtpunkt-Bild. Falls der Tisch TB nicht in dem Raum vorhanden ist, wird dieses Fehlen von Bilddaten nicht auftreten. Mit anderen Worten wird, in diesem Fall, der fehlende Bildbereich, nicht aufgrund einer Verhinderung, sondern dadurch, dass keine Bilddaten erhalten werden, aufgrund einer Existenz des Tisches TB als ein Objekt, erzeugt.
Im Hinblick auf das Vorstehende wird ein System mit einer Erfassungseinrichtung zum Erfassen eines Objekts in dem Überwachungs-Bereich (der mit Bild versehene Bereich) und eine fehlende Bildbereich-Erfassungseinrichtung zum Erfassen eines fehlenden Bildbereichs in einem Überwachungs-Bild (versehen mit einem Bild) geschaffen, wenn ein Objekt durch die Erfassungs-Einrichtung erfasst wird. Wenn einmal ein fehlender Bildbe reich erfasst ist, füllt ein Bildverarbeitungseinrichtung den fehlenden Bildbereich mit Ersatz-Bilddaten durch die Interpolation oder durch das Verfahren unter Verwenden eines Datenbank-Bilds, beschrieben vorstehend, zum Beispiel, auf. In dem sich ergebenden, bereitgestellten Bild wird eine Unnatürlichkeit des fehlenden Bildbereichs aufgrund des Auffüllens mit Ersatz-Bilddaten verringert, und Kamera-Bilddaten werden für den Teil, ein anderer als der fehlende Bildbereich, verwendet. Deshalb empfindet der Benutzer das bereitgestellte Bild nicht zu sehr als unnatürlich und kann die Situation in dem mit Bild versehenen Bereich genau erkennen.
In den vergangenen Jahren ist eine Untersuchung über eine neuartige Ansicht aus mehreren Ansichten ernsthaft vorgenommen worden (zum Beispiel H. Saito et al., „Virtualizing real scene from multiple view images – View interpolation of multiple cameras based on projective geometry among cameras", Information Processing Society of Japan SIG Notes 2002-CVIM-131, Seiten 53–60) vorgenommen worden. Die vorliegende Erfindung ist auch auf die Gebiete anwendbar, die sich auf diese Technik beziehen, einschließlich, zum Beispiel, des Vergnügungsgebiets, wie beispielsweise TV-Senden von Football, Baseball und anderen Sportarten. Diese Untersuchung bezieht sich auf die Erzeugung eines Bilds von einem Sichtpunkt an einer Nicht-Kamera-Position als ein Interpolations-Bild zwischen mehreren Kamera-Bildern. Allerdings wird, wenn der Sichtpunkt zu stark von tatsächlichen Kamera-Positionen abweicht, ein Verdeckungs-Bereich erzeugt, wie dies vorstehend beschrieben ist, was die Bildung eines fehlenden Bildbereichs erzeugt. Die vorliegende Erfindung ist auch zum Erzeugen eines Bilds für einen solchen fehlenden Bildbereich effektiv.
In den Ausführungsformen, die vorstehend beschrieben sind, wurde angenommen, dass die Position eines virtuellen Sichtpunkts für eine Bild-Synthese oberhalb eines Fahrzeugs war. Die vorliegende Erfindung ist auch bei Fällen anwendbar, die virtuelle Sichtpunkte an Positionen, andere als diese Positionen, verwenden. Die technische Idee der vorliegenden Erfindung ist auch zur Erzeugung eines Fahrzeug-Umgebungsbilds durch eine Technik, eine andere als eine Transformation eines virtuellen Sichtpunkts, effektiv.
Wie vorstehend beschrieben ist, empfindet, unter Verwendung der Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs, der vorliegenden Erfindung, der Benutzer keine Unnatürlichkeit für ein Umgebungsbild zu stark und kann die Position eines Hindernisses in der Umgebung des Fahrzeugs des Benutzers genau erkennen. Demzufolge ist ein sicherer Fahrbetrieb zuverlässiger und komfortabler als in dem herkömmlichen Fall möglich. Auch empfindet, gemäß dem Bild-Bereitstellungs-System der vorliegenden Erfindung, der Benutzer keine Unnatürlichkeit für ein bereitgestelltes Bild zu sehr und kann die Situation in dem mit Bild versehenen Bereich genau erkennen.

Claims

Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs, die umfasst: eine Kamera (11), die ein Bild der Umgebung eines Fahrzeugs (1) aufnimmt; eine Einrichtung (12) zum Erfassen von Hindernissen, die ein Hindernis (2) in der Umgebung des Fahrzeugs (1) erfasst; eine Bildverarbeitungseinrichtung (14), die ein Umgebungsbild, das die Situation um das Fahrzeug (1) herum darstellt, aus dem mit der Kamera (11) aufgenommenen Bild erzeugt; gekennzeichnet durch: eine Einrichtung (13, 41) zum Erfassen von fehlenden Bildbereichen, die einen fehlenden Bereich in dem Umgebungsbild erfasst, wenn das Hindernis (2) durch die Einrichtung (12) zum Erfassen von Hindernissen erfasst wird, wobei der fehlende Bildbereich auf Grund des Vorhandenseins des Hindernisses (2) keine Bilddaten von der Kamera (11) gewinnen kann; wobei die Einrichtung (13, 41) zum Erfassen fehlender Bildbereiche eine Einrichtung (13) zum Erfassen von Objektpositionen enthällt, die die Position einer Grenze des Hindernisses (2) an der Seite des Fahrzeugs (1) erfasst und den fehlenden Bildbereich unter Verwendung der erfassten Grenzposition bestimmt, wobei die Bildverarbeitungseinrichtung (14) ein Grenz-Bild verwendet, das wenigstens den Grenzabschnitt des Hindernisses (2) auf der Seite des Fahrzeugs (1) enthält, um Ersatz-Bilddaten zu erzeugen, und wenigstens einen Teil des fehlenden Bildbereiches mit den Ersatz-Bilddaten ausfüllt, wenn der fehlende Bildbereich erfasst wird.
Vorrichtung nach Anspruch 1, wobei die Bildverarbeitungseinrichtung (14) das Grenz-Bild so auf dem Umgebungs-Bild anordnet, dass es auf die Grenzposition ausgerichtet ist, die von der Einrichtung (13) zum Erfassen der Position von Hindernissen erfasst wird, einen durch das Hindernis in dem Umgebungs-Bild eingenommenen Bereich durch Ausrichten auf die Grenzposition annimmt und die Ersatz-Bilddaten durch Pixel-Interpolation und Verwendung von Pixeldaten des Grenz-Bildes für einen anderen Teil des angenommenen Hindernisbereiches als das Grenz-Bild erzeugt.
Vorrichtung nach Anspruch 2, wobei, wenn das Hindernis (2) ein achsensymmetrisches Objekt ist, die Bildverarbeitungseinrichtung (14) eine Symmetrieachse des Hindernisses (2) in dem Umgebungs-Bild annimmt, das Grenz-Bild in Bezug auf die Symmetrieachse umkehrt, um ein umgekehrtes Grenz-Bild bereitzustellen, und ein Bild zwischen dem Grenz-Bild und dem umgekehrten Grenz-Bild in dem Hindernisbereich durch die Pixel-Interpolation unter Verwendung von Pixeldaten des Grenz-Bildes erzeugt.
Vorrichtung nach Anspruch 1, wobei, wenn das Hindernis ein Fahrzeug (2) ist, die Einrichtung (13) zum Erfassen der Position von Hindernissen eine Kontaktposition eines Reifens des Fahrzeugs (2) mit der Straßenoberfläche in dem Bild von der Kamera (11) als die Grenzposition erfasst.
Vorrichtung nach Anspruch 1, wobei, wenn das Hindernis ein Fahrzeug (2) ist, die Einrichtung (13) zum Erfassen der Position von Hindernissen eine Linie einer Ebene, die ein Nummernschild des Fahrzeugs (2) einschließt, das in Kontakt mit der Straßenoberfläche ist, in dem Bild von der Kamera (11) als die Grenzposition erfasst.
Vorrichtung nach Anspruch 1, wobei, wenn das Hindernis ein Fahrzeug (2) ist, die Bildverarbeitungseinrichtung (14) Prozesse zum Ausfüllen des fehlenden Bildbereiches auf Basis des Erfassungsergebnisses eines Nummernschildes und eines Reifens des Hindernisses (2) austauscht.
Bildbereitstellungssystem, das umfasst: – eine Kamera (11), die ein Bild aufnimmt; – eine Erfassungseinrichtung (12), die ein Objekt (2) in einem Bildbereitstellungsbereich erfasst; – eine Bildverarbeitungseinrichtung (14), die ein Bild, das die Situation in dem Bildbereitstellungsbereich zeigt, aus dem mit der Kamera (11) aufgenommenen Bild erzeugt; gekennzeichnet durch: eine Einrichtung (13, 41) zum Erfassen fehlender Bildbereiche, die einen fehlenden Bildbereich in dem erzeugten Bild erfasst, wenn ein Objekt (2) durch die Erfassungseinrichtung (12) erfasst wird, wobei der fehlende Bildbereich auf Grund des Vorhandenseins des Objektes (2) keine Bilddaten von der Kamera (11) gewinnen kann; wobei die Bildverarbeitungseinrichtung (14) wenigstens einen Teil des fehlenden Bildbereiches mit Ersatz-Bilddaten ausfüllt, wenn der fehlende Bildbereich erfasst wird.
System nach Anspruch 7, wobei die Kamera (11) ein Bild der Umgebung eines Fahrzeugs (1) aufnimmt.
System nach Anspruch 7, wobei die Kamera (11) ein Bild des Inneren oder der Umgebung eines Gebäudes aufnimmt.