DE112017005114T5

DE112017005114T5 - Bildverarbeitungsvorrichtung

Info

Publication number: DE112017005114T5
Application number: DE112017005114.2T
Authority: DE
Inventors: Hiroshi Ishida; Kenji Okano
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2016-10-07
Filing date: 2017-10-02
Publication date: 2019-06-27
Also published as: CN109844801A; US20200039437A1; JP6607163B2; US10926700B2; JP2018060459A; WO2018066510A1

Abstract

Eine Bildverarbeitungsvorrichtung (1) weist eine Bilderfassungseinheit (1, S1), eine Erfassungseinheit (1, S3) und eine Anzeigeverarbeitungseinheit (1, S11 bis S15, S41 bis S45, S5) auf. Die Bilderfassungseinheit ist konfiguriert, um ein aufgenommenes Bild von einer Bildaufnahmevorrichtung (2) zu erfassen, die konfiguriert ist, um ein Bild der Peripherie eines Fahrzeugs aufzunehmen. Die Erfassungseinheit ist konfiguriert, um eine Fahrbahnmarkierung (30), die eine Fahrspur des Fahrzeugs definiert, aus dem von der Bilderfassungseinheit erfassten aufgenommenen Bild zu erfassen. Die Anzeigeverarbeitungseinheit ist konfiguriert, um, auf einer Anzeigevorrichtung (3), ein Überlagerungsbild als das aufgenommene Bild anzuzeigen, auf dem ein Markierungsbild (31) zur Unterstützung der Sichtbarkeit der Fahrbahnmarkierung derart überlagert ist, dass das Markierungsbild der von der Erfassungseinheit erfassten Fahrbahnmarkierung überlagert ist.

Description

[Querverweis auf in Beziehung stehende Anmeldung]
Diese internationale Anmeldung beansprucht die Priorität der am 7. Oktober 2016 eingereichten japanischen Patentanmeldung Nr. 2016-199184 , auf deren Offenbarung hiermit vollinhaltlich Bezug genommen ist.
[Technisches Gebiet]
Die vorliegende Offenbarung betrifft eine Bildverarbeitungsvorrichtung.
[Stand der Technik]
Bekannt ist eine Vorrichtung, die konfiguriert ist, um ein aufgenommenes Bild, das von einer Bildaufnahmevorrichtung erfasst wird, zu verarbeiten, um das Bild so anzuzeigen, dass ein Positionsverhältnis zwischen einem Fahrzeug und einer weißen Linie leicht erkennbar ist. Patentdokument 1 beispielsweise offenbart die folgende Technik. Zuerst wird ein aufgenommenes Rückbild von einer Heckkamera in ein Rückbild aus der Vogelperspektive gewandelt. Anschließend wird ein Positionsverhältnis zwischen dem Rückbild aus der Vogelperspektive und dem Fahrzeug so verschoben, dass sich das gewandelte Rückbild aus der Vogelperspektive nach vorne des Fahrzeugs bewegt, und es wird ein geschätztes Bild aus der Vogelperspektive erzeugt, das die geschätzten Quer- und Stirnseiten des Fahrzeugs anzeigt. Das heißt, das geschätzte Bild aus der Vogelperspektive wird in der Annahme erzeugt, dass eine weiße Linie, die in dem Rückbild aus der Vogelperspektive enthalten ist, ähnlich zu den Quer- und Stirnseiten des Fahrzeugs fortgesetzt wird. Bei dieser Technik wird das geschätzte Bild aus der Vogelperspektive zusammen mit einem Bild, das die Position des Eigenfahrzeugs anzeigt, speziell auf z.B. einem Monitor angezeigt, wenn sich das Fahrzeug vorwärts bewegt, so dass die Position des Fahrzeugs in Bezug auf die weiße Linie leicht erfasst werden kann.
[Literaturliste]
[Patentdokument]
[PTL 1] JP 2003-006621 A
[Kurzdarstellung der Erfindung]
In Patentdokument 1 ist in einem Fall, in dem eine weiße Linie auf einer Straße beispielsweise fehlt ist oder nachts unklar ist, auch die weiße Linie in dem Rückbild aus der Vogelperspektive fehlend oder unklar. Aus diesem Grund ist in dem geschätzten Bild aus der Vogelperspektive, das aus dem Rückbild aus der Vogelperspektive erzeugt wird, das Bild der weißen Linie ebenso fehlend oder unklar. So ist es aufgrund der genauen Untersuchung durch einen Erfinder ein Problem, dass selbst wenn ein Fahrer den Monitor betrachtet, auf dem das geschätzte Bild aus der Vogelperspektive angezeigt wird, der Fahrer Schwierigkeiten hat, die weiße Linie zu sehen und das Positionsverhältnis zwischen dem Fahrzeug und der weißen Linie zu erfassen.
Es ist Aufgabe der vorliegenden Offenbarung, eine Bildverarbeitungsvorrichtung bereitzustellen, die so konfiguriert ist, dass ein Fahrer ein Positionsverhältnis zwischen einem Fahrzeug und einer Fahrbahnmarkierung, die eine Fahrspur des Fahrzeugs definiert, leicht erfassen kann.
Ein Aspekt der vorliegenden Offenbarung ist eine Bildverarbeitungsvorrichtung, die eine Bilderfassungseinheit, eine Erfassungseinheit und eine Anzeigeverarbeitungseinheit aufweist. Die Bilderfassungseinheit ist konfiguriert, um ein aufgenommenes Bild von einer Bildaufnahmevorrichtung zu erfassen, die konfiguriert ist, um ein Bild der Peripherie eines Fahrzeugs aufzunehmen. Die Erfassungseinheit ist konfiguriert, um eine Fahrbahnmarkierung, die eine Fahrspur des Fahrzeugs definiert, aus dem von der Bilderfassungseinheit erfassten aufgenommenen Bild zu erfassen. Die Anzeigeverarbeitungseinheit ist konfiguriert, um, auf einer Anzeigevorrichtung, ein Überlagerungsbild als das aufgenommene Bild anzuzeigen, auf dem ein Markierungsbild zum Unterstützen der Sichtbarkeit der Fahrbahnmarkierung derart überlagert ist, dass das Markierungsbild der von der Erfassungseinheit erfassten Fahrbahnmarkierung überlagert ist.
Gemäß der Bildverarbeitungsvorrichtung der vorliegenden Offenbarung wird das Überlagerungsbild auf der Anzeigevorrichtung angezeigt, so dass ein Fahrer ein Positionsverhältnis zwischen dem Eigenfahrzeug und der Fahrbahnmarkierung leicht erfassen kann. Darüber hinaus ergänzt das Markierungsbild auch in einem Fall, in dem die Fahrbahnmarkierung beispielsweise teilweise fehlt oder nachts unklar ist, die Fahrbahnmarkierung, so dass der Fahrer die Fahrbahnmarkierung leicht erkennen kann.
Es sollte beachtet werden, dass die Bezugszeichen in Klammern in den Ansprüchen eine Übereinstimmung mit bestimmten Abschnitten anzeigen, die in einer nachfolgend als einen Aspekt beschriebenen Ausführungsform beschrieben sind, und nicht dazu bestimmt sind, jedoch nicht dazu dienen, den technischen Umfang der vorliegenden Offenbarung zu beschränken.
Figurenliste

1 zeigt ein Blockdiagramm einer Konfiguration einer Bildverarbeitungsvorrichtung.
2 zeigt ein Ablaufdiagramm einer Bildverarbeitung gemäß einer ersten Ausführungsform.
3 zeigt ein Ablaufdiagramm einer Überlagerungsverarbeitung der ersten Ausführungsform.
4 zeigt ein Bild aus der Vogelperspektive zur Veranschaulichung eines Zustands, in dem eine weiße Linie teilweise fehlt.
5 zeigt ein Überlagerungsbild, nachdem die Bildverarbeitung der ersten Ausführungsform für das in 4 gezeigte Bild aus der Vogelperspektive erfolgt ist.
6 zeigt eine Ansicht zur Veranschaulichung eines Zustands, in dem weiße Linien nachts unklar sind.
7 zeigt ein Überlagerungsbild, nachdem die Bildverarbeitung der ersten Ausführungsform für das in 6 gezeigte Bild aus der Vogelperspektive erfolgt ist.
8 zeigt ein Ablaufdiagramm einer Überlagerungsverarbeitung gemäß einer zweiten Ausführungsform.
9 zeigt eine Ansicht zur Veranschaulichung eines Zustands, in dem eine weiße Linie teilweise fehlt und ein Eigenfahrzeug im Begriff ist, sich auf eine rechte Fahrspur zu bewegen.
10 zeigt eine Ansicht, nachdem die Bildverarbeitung der zweiten Ausführungsform in einem Fall erfolgt ist, in dem die weiße Linie teilweise fehlt und das Eigenfahrzeug im Begriff ist, sich auf die rechte Fahrspur zu bewegen.
11 zeigt eine Ansicht zur Veranschaulichung eines Zustands, in dem weiße Linien nachts unklar sind und das Eigenfahrzeug im Begriff ist, sich auf die rechte Fahrspur zu bewegen.
12 zeigt eine Ansicht, nachdem die Bildverarbeitung der zweiten Ausführungsform in einem Fall erfolgt ist, in dem die weißen Linien nachts unklar sind und das Eigenfahrzeug im Begriff ist, sich auf die rechte Fahrspur zu bewegen.

[Beschreibung der Ausführungsformen]
Nachstehend sind Ausführungsformen zum Ausführen der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen beschrieben.
[Erste Ausführungsform]
[Konfiguration von Bildverarbeitungsvorrichtung 1]
Nachstehend ist eine Konfiguration einer Bildverarbeitungsvorrichtung 1 unter Bezugnahme auf 1 beschrieben. Die Bildverarbeitungsvorrichtung 1 ist eine fahrzeuginterne Vorrichtung, die an einem Fahrzeug montiert ist. Das Fahrzeug, an dem die Bildverarbeitungsvorrichtung 1 montiert ist, ist im Folgenden als „Eigenfahrzeug“ bezeichnet. Die Bildverarbeitungsvorrichtung 1 ist ein ECU, und eine Bildaufnahmevorrichtung 2 und eine Anzeigevorrichtung 3 sind mit der Bildverarbeitungsvorrichtung 1 verbunden. Es sollte beachtet werden, dass ECU für „Electronic Control Unit“, d.h. für elektronische Steuervorrichtung steht.
Die Bildaufnahmevorrichtung 2 weist eine Frontkamera, eine linke Seitenkamera, eine rechte Seitenkamera und eine Heckkamera auf. Die Frontkamera ist derart am Eigenfahrzeug angeordnet, dass eine Fahrbahnoberfläche vor dem Eigenfahrzeug ein Bildaufnahmebereich ist. Die linke Seitenkamera ist derart am Eigenfahrzeug angeordnet, dass eine Fahrbahnoberfläche links vom Eigenfahrzeug ein Bildaufnahmebereich ist. Die rechte Seitenkamera ist derart am Eigenfahrzeug angeordnet, dass eine Fahrbahnoberfläche rechts vom Eigenfahrzeug ein Bildaufnahmebereich ist. Die Heckkamera ist derart am Eigenfahrzeug angeordnet, dass eine Fahrbahnoberfläche hinter dem Eigenfahrzeug ein Bildaufnahmebereich ist. Jede Kamera ist konfiguriert, um ein Bild in einem vorgegebenen Zeitintervall, wie beispielsweise einem Intervall von 1/15 Sekunden, wiederholt aufzunehmen und das aufgenommene Bild an die Bildverarbeitungsvorrichtung 1 auszugeben.
Die Anzeigevorrichtung 3 ist eine Anzeigevorrichtung mit einem Bildschirm aus beispielsweise Flüssigkristall oder organischem EL. Die Anzeigevorrichtung ist konfiguriert, um ein Bild gemäß einer Signaleingabe von der Bildverarbeitungsvorrichtung 1 anzuzeigen.
Die Bildverarbeitungsvorrichtung 1 beinhaltet hauptsächlich einen Mikrocomputer bekannter Bauart mit einer CPU, einem RAM, einem ROM, einem Halbleiterspeicher, wie beispielsweise ein Flash-Speicher, und dergleichen. Verschiedene Funktionen der Bildverarbeitungsvorrichtung 1 sind so implementiert, dass die CPU Programme ausführt, die auf einem nichtflüchtigen materiellen Aufzeichnungsmedium gespeichert sind. In diesem Beispiel entspricht der Halbleiterspeicher dem nichtflüchtigen materiellen Aufzeichnungsmedium, das die Programme speichert. Außerdem wird durch die Ausführung des Programms ein dem Programm entsprechendes Verfahren ausgeführt. Es sollte beachtet werden, dass die Anzahl von Mikrocomputern, die die Bildverarbeitungsvorrichtung 1 bilden, ein oder mehrere sein kann.
Die Bildverarbeitungsvorrichtung 1 beinhaltet, als funktionale Konfigurationen, die durch die Ausführung der Programme durch die CPU implementiert sind, eine Bilderfassungsverarbeitungseinheit 4, eine Videoumwandlungsverarbeitungseinheit 5, eine Fahrbahnmarkierungserfassungsverarbeitungseinheit 6 und eine Erfassungsergebnisausgabeverarbeitungseinheit 7. Das Verfahren zur Implementierung dieser Elemente, die die Bildverarbeitungsvorrichtung 1 bilden, ist nicht auf Software beschränkt, und einige oder alle Elemente können unter Verwendung von Hardware in Kombination mit einer logischen Schaltung, einer analogen Schaltung usw. implementiert werden.
[Bildverarbeitung]
Nachstehend ist die von der Bildverarbeitungsvorrichtung 1 ausgeführte Bildverarbeitung unter Bezugnahme auf die in den 2 und 3 gezeigten Ablaufdiagramme beschrieben. Die Bildverarbeitung wird in einem vorbestimmten Zeitintervall, wie beispielsweise 1/15 Sekunden, während eines Zeitraums ausgeführt, in dem ein Zündschalter des Eigenfahrzeugs eingeschaltet ist.
Wie in 2 gezeigt, führt die Bildverarbeitungsvorrichtung 1 in einem Schritt 1 die Erfassungsverarbeitung aus, um aufgenommene Bilder von der Frontkamera, der linken Seitenkamera, der rechten Seitenkamera und der Heckkamera zu erfassen, um die aufgenommenen Bilder in digitale Signale zu wandeln. Es sollte beachtet werden, dass die Bildverarbeitungsvorrichtung 1 die Verarbeitung von Schritt 1 ausführt, um als die Bilderfassungsverarbeitungseinheit 4 zu dienen.
In einem nachfolgenden Schritt 2 führt die Bildverarbeitungsvorrichtung 1 die Umwandlungsverarbeitung aus, um die vier aufgenommenen Bilder als die digitalen Signale in Bilder aus der Vogelperspektive, die von einem vorgegebenen virtuellen Betrachtungspunkt aus betrachtet werden, zu wandeln, um diese Bilder zu synthetisieren und so ein Bild aus der Vogelperspektive der Peripherie des Eigenfahrzeugs zu erzeugen. Insbesondere führt die Bildverarbeitungsvorrichtung 1 die Verarbeitung zum Ausführen einer bekannten Vogelperspektivwandlung für die vier aufgenommenen Bilder aus, um die aufgenommenen Bilder in die Bilder aus der Vogelperspektive als Bilder, die von oben auf das Eigenfahrzeug betrachtet werden, zu wandeln und so die Bilder aus der Vogelperspektive zu synthetisieren bzw. zu generieren. Es sollte beachtet werden, dass die Bildverarbeitungsvorrichtung 1 die Verarbeitung von Schritt 2 ausführt, um als die Videoumwandlungsverarbeitungseinheit 5 zu dienen.
In einem nachfolgenden Schritt 3 führt die Bildverarbeitungsvorrichtung 1 die Erfassungsverarbeitung aus, um eine Fahrbahnmarkierung 30 aus dem in Schritt 2 erzeugten Bild aus der Vogelperspektive zu erfassen. Die hierin beschriebene Fahrbahnmarkierung 30 dient zum Definieren einer Fahrspur des Eigenfahrzeugs. In Schritt 3 werden eine weiße Linie, die auf der Fahrbahnoberfläche aufgetragen ist und den Fahrweg definiert, und ein Straßenende bzw. Straßenrand als eine Grenze zwischen einer Straße und einem Bürgersteig hauptsächlich als die Fahrbahnmarkierungen 30 erfasst. Die weiße Linie umfasst beispielsweise eine durchgehende Linie und eine gestrichelte Linie. Der Straßenrand umfasst beispielsweise einen Bordstein, eine Seitenrinne und eine Leitplanke. So werden beispielsweise zwei weiße Linien als die Fahrbahnmarkierungen 30 aus den in den 4 und 6 gezeigten Bildern aus der Vogelperspektive erfasst.
Die Erfassung der Fahrbahnmarkierung 30 kann unter Anwendung einer bekannten Technik erfolgen. So kann die Erfassung der weißen Linie beispielsweise derart erfolgen, dass die Helligkeit in dem Bild aus der Vogelperspektive berechnet und eine Kante aus dem einer Helligkeitswandlung unterzogenen Bild extrahiert wird. Die Erfassung des Straßenrandes kann anhand von Information wie Helligkeit, Farbe oder Form in dem Bild aus der Vogelperspektive erfolgen. Es sollte beachtet werden, dass die Bildverarbeitungsvorrichtung 1 die Verarbeitung von Schritt 3 ausführt, um als die Fahrbahnmarkierungserfassungsverarbeitungseinheit 6 zu dienen.
In einem nachfolgenden Schritt 4 führt die Bildverarbeitungsvorrichtung 1 die Überlagerungsverarbeitung aus, um ein Markierungsbild 31 zur Unterstützung der Sichtbarkeit der in Schritt 3 erfassten Fahrbahnmarkierung 30 auf der Fahrbahnmarkierung 30 zu überlagern. Insbesondere ist das Markierungsbild 31, wie beispielsweise in den 5 und 7 gezeigt, eine bandförmige Abbildung zur deutlichen Darstellung der Fahrbahnmarkierung 30. 5 zeigt ein Überlagerungsbild, bei dem zwei Markierungsbilder 31 zwei weißen Linien auf dem in 4 gezeigten Bild aus der Vogelperspektive überlagert sind. Wie in 5 gezeigt, sind die Markierungsbilder 31 bandförmige Abbildungen, die angeordnet sind, um sich mit den Fahrbahnmarkierungen 30 auf dem Bild aus der Vogelperspektive zu überlappen und sich von einem Ende zum anderen Ende auf dem Bild aus der Vogelperspektive zu erstrecken. Somit wird auch in einem Fall, in dem die Fahrbahnmarkierung 30, wie in 4 gezeigt, fehlt, ein solches Markierungsbild 31 überlagert, so dass die Position der Fahrbahnmarkierung 30 deutlich angezeigt werden kann. Darüber hinaus zeigt 7 ein Überlagerungsbild, bei dem zwei Markierungsbilder 31 zwei weißen Linien auf dem in 6 gezeigten Bild aus der Vogelperspektive überlagert sind. Selbst wenn die Fahrbahnmarkierungen 30, wie in 6 gezeigt, nachts unklar sind, werden die Markierungsbilder 31 überlagert, so dass die Positionen der Fahrbahnmarkierungen 30 deutlich angezeigt werden können.
Nachstehend ist eine bestimmte Verarbeitung in der Überlagerungsverarbeitung unter Bezugnahme auf das in 3 gezeigte Ablaufdiagramm beschrieben.
In einem Schritt 11 führt die Bildverarbeitungsvorrichtung 1 die Einstellverarbeitung aus, um einen Standardwert für eine Variable N auf null zu setzen. N ist eine natürliche Zahl.
In einem nachfolgenden Schritt 12 führt die Bildverarbeitungsvorrichtung 1 die Bestimmungsverarbeitung aus, um zu bestimmen, ob die Anzahl von Erfassungen der Fahrbahnmarkierungen 30 gemäß Schritt 3 größer als die Variable N ist oder nicht. Wenn in Schritt 12 eine positive Bestimmung erfolgt, schreitet die Verarbeitung zu Schritt 13 voran. In Schritt 13 führt die Bildverarbeitungsvorrichtung 1 die Addierverarbeitung aus, um eins zu der Variablen N zu addieren.
In einem nachfolgenden Schritt 14 führt die Bildverarbeitungsvorrichtung 1 die Erfassungsverarbeitung aus, um, aus dem Bild aus der Vogelperspektive, einen Abstand von dem Eigenfahrzeug zur N-ten Fahrbahnmarkierung 30, die in Schritt 3 erfasst wird, und die Neigung der N-ten Fahrbahnmarkierung 30 basierend auf der N-ten Fahrbahnmarkierung 30 zu erfassen. Es sollte beachtet werden, dass der Abstand von dem Eigenfahrzeug zur Fahrbahnmarkierung 30 ein Abstand von dem Eigenfahrzeug zu einer Linie, die eine Längsrichtung anzeigt, der bandförmigen Fahrbahnmarkierung 30 nahe dem Eigenfahrzeug ist.
In einem nachfolgenden Schritt 15 führt die Bildverarbeitungsvorrichtung 1 die Entscheidungsverarbeitung aus, um basierend auf einem in Schritt 14 erfassten Ergebnis, die Koordinatenposition des der N-ten Fahrbahnmarkierung 30 überlagerten Markierungsbildes 31 zu entscheiden. Insbesondere führt die Bildverarbeitungsvorrichtung 1 die Entscheidungsverarbeitung aus, um die Position einer Linie, die eine Längsrichtung anzeigt, des bandförmigen Markierungsbildes 31 nahe dem Eigenfahrzeug zu entscheiden. Es sollte beachtet werden, dass sich diese Linie von einem Ende zu einem anderen Ende auf dem Bild aus der Vogelperspektive aus der Vogelperspektive erstreckt.
In einem nachfolgenden Schritt 16 führt die Bildverarbeitungsvorrichtung 1 die Bestimmungsverarbeitung aus, um zu bestimmen, ob der Abstand von dem Eigenfahrzeug zur N-ten Fahrbahnmarkierung 30 kürzer oder gleich als ein Schwellenwert ist oder nicht. Wenn in Schritt 16 eine positive Bestimmung erfolgt, führt die Bildverarbeitungsvorrichtung 1 in einem Schritt 17 die Einstellverarbeitung aus, um den Risikograd auf hoch zu setzen. Wenn in Schritt 16 eine negative Bestimmung erfolgt, führt die Bildverarbeitungsvorrichtung 1 in einem Schritt 18 die Einstellverarbeitung aus, um den Risikograd auf niedrig zu setzen. Es sollte beachtet werden, dass die Verarbeitung in den Schritten 16, 17 und 18 als „Risikogradentscheidungsverarbeitung“ bezeichnet wird.
Nach Schritt 17 oder Schritt 18 schreitet die Verarbeitung zu Schritt 19 voran. In Schritt 19 führt die Bildverarbeitungsvorrichtung 1 die Einstellverarbeitung aus, um die Breite des Markierungsbildes 31 entsprechend dem in Schritt 17 oder Schritt 18 eingestellten Risikograd einzustellen. Insbesondere stellt die Bildverarbeitungsvorrichtung 1 die Anzeigeform des Markierungsbildes 31 so ein, dass die Breite des Markierungsbildes 31 im Falle eines hohen Risikogrades verbreitert wird und im Falle eines geringen Risikogrades verringert wird. Es sollte beachtet werden, dass die Bildverarbeitungsvorrichtung 1 die Verarbeitung zum Entscheiden eines Abstandes von der in Schritt 15 entschiedenen Position der Linie des Markierungsbildes 31 zu einer Seite weiter entfernt vom Eigenfahrzeug ausführt, um so den Grad der Breite des Markierungsbildes 31 einzustellen.
In einem nachfolgenden Schritt 20 führt die Bildverarbeitungsvorrichtung 1 die Bestimmungsverarbeitung aus, um zu bestimmen, ob die in Schritt 3 erfasste N-te Fahrbahnmarkierung 30 die weiße Linie ist oder nicht. Wenn in Schritt 20 eine positive Bestimmung erfolgt, wird in Schritt 21 die Zeichenverarbeitung ausgeführt, um das lineare Markierungsbild 31 zu zeichnen, das die weiße Linie auf dem Bild aus der Vogelperspektive anzeigt. Wenn in Schritt 20 eine negative Bestimmung erfolgt, wird in Schritt 22 die Zeichenverarbeitung ausgeführt, um das dreidimensionale Markierungsbildes 31 zu zeichnen, das den Straßenrand auf dem Bild aus der Vogelperspektive anzeigt. Es sollte beachtet werden, dass die Verarbeitung in den Schritten 20, 21 und 22 als „Überlagerungszeichenverarbeitung“ bezeichnet wird.
Nach Schritt 21 oder Schritt 22 kehrt die Verarbeitung zu Schritt 12 zurück. Die Verarbeitung der Schritte 13 bis 22 erfolgt bei einer positiven Bestimmung in Schritt 12, und die Überlagerungsverarbeitung endet bei einer negativen Bestimmung in Schritt 12.
Nach Schritt 4 schreitet die Verarbeitung zu Schritt 5 voran. In Schritt 5 führt die Bildverarbeitungsvorrichtung 1 die Ausgabeverarbeitung aus, um, an die Anzeigevorrichtung 3, das Überlagerungsbild auszugeben, auf dem die Markierungsbilder 31 in Schritt 4 überlagert werden. Es sollte beachtet werden, dass die Bildverarbeitungsvorrichtung 1 die Verarbeitung in den Schritten 4 und 5 ausführt, um als die Erfassungsergebnisausgabeverarbeitungseinheit 7 zu dienen.
Nach Schritt 5 kehrt die Verarbeitung zu Schritt 1 zurück, woraufhin die Bildverarbeitungsvorrichtung 1 die Bildverarbeitung für ein anschließend erfasstes aufgenommenes Bild ausführt. Die Bildverarbeitungsvorrichtung 1 beendet die Bildverarbeitung, wenn der Zündschalter ausgeschaltet wird.
[Vorteilhafte Effekte]
Gemäß der vorstehend näher beschriebenen ersten Ausführungsform ergeben sich die folgenden vorteilhaften Effekte.
(1a) Die Bildverarbeitungsvorrichtung 1 der ersten Ausführungsform führt die Verarbeitung zum Anzeigen des Überlagerungsbildes mit dem überlagerten Markierungsbild 31 auf der Anzeigevorrichtung 3 aus. So kann die Position der Fahrbahnmarkierung 30 deutlich angezeigt werden. Somit kann ein Fahrer ein Positionsverhältnis zwischen dem Eigenfahrzeug und der Fahrbahnmarkierung 30 leicht erfassen. Das Markierungsbild ergänzt beispielsweise auch in einem Fall, in dem die Fahrbahnmarkierung teilweise fehlt oder nachts unklar ist, die Fahrbahnmarkierung, so dass der Fahrer die Fahrbahnmarkierung 30 leicht erkennen kann.
(1b) Die Bildverarbeitungsvorrichtung 1 der ersten Ausführungsform führt die Verarbeitung zum Entscheiden der Anzeigeform des Markierungsbildes 31 aus. Somit kann die Anzeigeform des Markierungsbildes 31 geändert werden. Folglich kann das Überlagerungsbild, auf dem das Markierungsbild 31 in einer optionalen Anzeigeform überlagert ist, auf der Anzeigevorrichtung 3 angezeigt werden.
(1c) Die Bildverarbeitungsvorrichtung 1 der ersten Ausführungsform führt die Verarbeitung zum Ändern der Breite des Markierungsbildes entsprechend dem Risikograd aus. So kann der Fahrer den Risikograd erkennen. Folglich kann der Fahrer die Position des Eigenfahrzeugs in einer Breitenrichtung der Fahrspur erfassen.
(1d) Die Bildverarbeitungsvorrichtung 1 der ersten Ausführungsform führt die Verarbeitung zum Vergrößern der Breite des Markierungsbildes 31 im Falle eines hohen Risikogrades aus. Somit kann das Markierungsbild 31 im Falle eines hohen Risikogrades betont angezeigt werden. Folglich erkennt der Fahrer leicht, dass der Risikograd hoch ist, d.h. das Eigenfahrzeug im Begriff ist, von der Fahrspur abzukommen.
(1e) Die Bildverarbeitungsvorrichtung 1 der ersten Ausführungsform führt die Verarbeitung zum Ändern der Anzeigeform des Markierungsbildes 31 entsprechend der weißen Linie oder dem Straßenrand aus. Folglich kann der Fahrer, auch wenn das Markierungsbild 31 überlagert wird, um die Fahrbahnmarkierung 30 auf dem Überlagerungsbild zu verdecken, den Typ der Fahrbahnmarkierung 30 erkennen.
Es sollte beachtet werden, dass, in der ersten Ausführungsform, S1 der Verarbeitung als Bilderfassungseinheit entspricht, S3 der Verarbeitung als Erfassungseinheit entspricht, S11 bis S15 und S5 der Verarbeitung als Anzeigeverarbeitungseinheit entsprechen und S16 bis S22 der Verarbeitung als Entscheidungseinheit entsprechen.
[Zweite Ausführungsform]
[Unterschiede zur ersten Ausführungsform]
Eine Grundkonfiguration einer zweiten Ausführungsform ist ähnlich derjenigen der ersten Ausführungsform, so dass im Folgenden auf die Unterschiede eingegangen ist. Es sollte beachtet werden, dass die gleichen Bezugszeichen wie in der ersten Ausführungsform gleichwertige Konfigurationen anzeigen und die vorherige Beschreibung berücksichtigt wird.
In der vorstehend beschriebenen ersten Ausführungsform führt die Bildverarbeitungsvorrichtung 1 die Anzeigeverarbeitung aus, um, auf der Anzeigevorrichtung 3, die Markierungsbilder 31 anzuzeigen, die allen erfassten Fahrbahnmarkierungen 30 überlagert sind. Indessen führt eine Bildverarbeitungsvorrichtung 1 in der zweiten Ausführungsform, wenn die Bildverarbeitungsvorrichtung 1 bestimmt, dass ein Eigenfahrzeug einen Spurwechselzustand aufweist, die Nichtanzeigeverarbeitung aus, um kein Markierungsbild 31 anzuzeigen, das einer Fahrbahnmarkierung 30 überlagert ist, vorausgesetzt, dass sich das Eigenfahrzeug bei einem Spurwechsel zur Seite bewegt.
[Bildverarbeitung]
Nachstehend ist die von der Bildverarbeitungsvorrichtung 1 der zweiten Ausführungsform anstelle der in 3 gezeigten Überlagerungsverarbeitung der ersten Ausführungsform ausgeführte Überlagerungsverarbeitung unter Bezugnahme auf das in 8 gezeigte Ablaufdiagramm beschrieben. Es sollte beachtet werden, dass die Verarbeitung in den Schritten 41 bis 45 von 8 ähnlich derjenigen in den Schritten 11 bis 15 von 3 ist, so dass deren Beschreibung teilweise vereinfacht ist.
Nach Schritt 45 schreitet die Verarbeitung zu Schritt 46 voran. In Schritt 46 führt die Bildverarbeitungsvorrichtung 1 eine Risikogradentscheidungsverarbeitung aus. Die Risikogradentscheidungsverarbeitung ist ähnlich der Verarbeitung in den Schritten 16, 17 und 18 von 3.
In einem nachfolgenden Schritt 47 bestimmt die Bildverarbeitungsvorrichtung 1, ob die in Schritt 3 erfasste Position der N-ten Fahrbahnmarkierung 30 rechts vom Eigenfahrzeug vorhanden ist und ein Rechtsabbiegesignal eingeschaltet ist oder nicht. Wenn in Schritt 47 eine positive Bestimmung erfolgt, kehrt die Verarbeitung zu Schritt 42 zurück. Wie beispielsweise in den 9 und 11 gezeigt, wird in einem Fall, in dem sich eine weiße Linie auf der rechten Seite des Eigenfahrzeugs befindet und das Rechtsabbiegesignal eingeschaltet ist, d.h. in einem Fall, in dem das Eigenfahrzeug im Begriff ist, auf eine rechte Fahrspur zu fahren, solch einer weißen Linie, wie in den 10 und 12 gezeigt, kein Markierungsbild 31 überlagert. Wenn in Schritt 47 eine negative Bestimmung erfolgt, schreitet die Verarbeitung zu Schritt 48 voran.
In Schritt 48 bestimmt die Bildverarbeitungsvorrichtung 1, ob die in Schritt 3 erfasste Position der N-ten Fahrbahnmarkierung 30 links vom Eigenfahrzeug vorhanden ist und ein Linksabbiegesignal eingeschaltet ist oder nicht. Wenn in Schritt 48 die positive Bestimmung erfolgt, kehrt die Verarbeitung zu Schritt 42 zurück. Das heißt, wenn bestimmt wird, dass das Eigenfahrzeug im Begriff ist, auf eine linke Fahrspur zu fahren, wird der Fahrbahnmarkierung 30 kein Markierungsbild 31 überlagert. Wenn in Schritt 48 eine negative Bestimmung erfolgt, schreitet die Verarbeitung zu Schritt 49 voran. Es sollte beachtet werden, dass die Verarbeitung in den Schritten 47 und 48 als „Nichtanzeigeentscheidungsverarbeitung“ bezeichnet wird.
In Schritt 49 führt die Bildverarbeitungsvorrichtung 1 die Verarbeitung zum Einstellen der Breite des Markierungsbildes 31 entsprechend dem in Schritt 46 bestimmten Risikograd aus.
In einem nachfolgenden Schritt 50 führt Bildverarbeitungsvorrichtung 1 eine Überlagerungszeichenverarbeitung aus. Die Überlagerungszeichenverarbeitung ist ähnlich der Verarbeitung in den Schritten 20, 21 und 22 von 3.
Nach Schritt 50 kehrt die Verarbeitung zu Schritt 42 zurück. Wenn in Schritt 42 eine negative Bestimmung erfolgt, endet die Überlagerungsverarbeitung.
[Vorteilhafte Effekte]
Gemäß der vorstehend näher beschriebenen zweiten Ausführungsform ergeben sich die vorteilhaften Effekte der vorstehend beschriebenen ersten Ausführungsform und darüber hinaus die folgenden vorteilhaften Effekte.
(2a) Die Bildverarbeitungsvorrichtung 1 der zweiten Ausführungsform führt die Nichtanzeigeentscheidungsverarbeitung aus. Auf diese Weise wird das der Fahrbahnmarkierung 30 überlagerte Markierungsbild 31 in der Annahme, dass sich das Eigenfahrzeug bei einem Spurwechsel zur Seite bewegt, nicht auf der Anzeigevorrichtung 3 angezeigt. Wenn das Markierungsbild 31 bei dem Spurwechsel angezeigt wird, spürt ein Fahrer Schwierigkeiten beim Spurwechsel; wird beim Spurwechsel jedoch kein Markierungsbild 31 angezeigt, kann der Fahrer den Spurwechsel problemlos vollziehen. Wenn das Markierungsbild 31 beim Spurwechsel angezeigt wird, wird zudem das einen hohen Risikograd anzeigende Markierungsbild 31 in Verbindung mit dem Spurwechsel angezeigt, ist es jedoch nicht erforderlich, dem Fahrer aktiv einen hohen Risikograd anzeigende Information zu melden, da kein Markierungsbild 31 angezeigt wird.
Es sollte beachtet werden, dass, in der zweiten Ausführungsform, die Schritte S41 bis S45 der Verarbeitung als Anzeigeverarbeitungseinheit entsprechen, die Schritte S46, S49 und S50 der Verarbeitung als Entscheidungseinheit entsprechen und die Schritte S47 und S48 der Verarbeitung als Bestimmungseinheit entsprechen.
[Weitere Ausführungsformen]
Vorstehend sind die Ausführungsformen der vorliegenden Offenbarung beschrieben, die jedoch auf verschiedene Weise modifizierbar ist, ohne auf die vorstehend beschriebenen Ausführungsformen beschränkt zu sein.
(3a) In den vorstehend beschriebenen Ausführungsformen ist das Beispiel beschrieben, bei dem die Bildverarbeitung für das Bild aus der Vogelperspektive als ein Bildverarbeitungsziel ausgeführt wird, wobei das Bildverarbeitungsziel nicht hierauf beschränkt ist; die Bildverarbeitung kann für das aufgenommene Bild erfolgen.
(3b) In den vorstehend beschriebenen Ausführungsformen ist das Beispiel beschrieben, bei dem die Bildverarbeitungsvorrichtung 1 die Verarbeitung zum Einstellen der Breite des Markierungsbildes 31 entsprechend dem Risikograd ausführt, wobei die Einstellung der Anzeigeform des Markierungsbildes nicht hierauf beschränkt ist. Die Anzeigeform des Markierungsbildes umfasst beispielsweise die Farbe, den Transmissionsgrad und die Blinkfrequenz des Markierungsbildes. Insbesondere kann, wenn der Risikograd erhöht wird, die Farbe des Markierungsbildes schrittweise rot werden, der Transmissionsgrad des Markierungsbildes verringert werden oder die Blinkfrequenz des Markierungsbildes erhöht werden.
(3c) In den vorstehend beschriebenen Ausführungsformen ist das Beispiel beschrieben, bei dem die Verarbeitung zum Ändern der Anzeigeform des Markierungsbildes 31 je nachdem, ob die Fahrbahnmarkierung 30 die weiße Linie oder der Straßenrand ist, als die Überlagerungszeichenverarbeitung ausgeführt wurde; die Überlagerungszeichenverarbeitung ist jedoch nicht hierauf beschränkt. Die Überlagerungszeichenverarbeitung kann die Verarbeitung zum Ändern der Anzeigeform des Markierungsbildes entsprechend der Art der weißen Linie oder des Straßenrandes sein. Wenn die weiße Linie beispielsweise die gestrichelte Linie ist, kann das Markierungsbild eine gestrichelte Linie sein.
(3d) In den vorstehend beschriebenen Ausführungsformen ist das Beispiel beschrieben, bei dem die Bestimmung des Risikogrades entsprechend dem Abstand zwischen dem Eigenfahrzeug und der Fahrbahnmarkierung 30 als die Risikogradentscheidungsverarbeitung ausgeführt wird; die Risikogradentscheidungsverarbeitung ist jedoch nicht hierauf beschränkt. Die Risikogradentscheidungsverarbeitung kann den Risikograd entsprechend der Art der Fahrbahnmarkierung bestimmen. Der Risikograd kann beispielsweise auf niedrig gesetzt werden, wenn der Spurwechsel gemäß einer Linie, wie beispielsweise einer gestrichelten Linie, erlaubt ist, und auf hoch gesetzt werden, wenn der Spurwechsel gemäß einer Linie, wie beispielsweise eine gelbe Linie, nicht erlaubt ist.
(3e) Die Bildverarbeitungsvorrichtung 1 der vorstehend beschriebenen Ausführungsformen kann die Helligkeit des Bildes aus der Vogelperspektive bestimmen, um so das Markierungsbild entsprechend der bestimmten Helligkeit auf eine optimale Helligkeit zu ändern. Das Markierungsbild wird beispielsweise auf den gleichen Helligkeitsgrad wie das Bild aus der Vogelperspektive gesetzt. Bei dieser Konfiguration wird das Überlagerungsbild mit einer geringeren Helligkeitsdifferenz auf der Anzeigevorrichtung angezeigt, so dass das für die Augen des Fahrers freundliche Überlagerungsbild bereitgestellt werden kann.
(3f) In den vorstehend beschriebenen Ausführungsformen ist das Beispiel beschrieben, bei dem die Bildverarbeitung für die Gesamtheit des Bildes aus der Vogelperspektive als ein Bildverarbeitungsbereich erfolgt; der Bildverarbeitungsbereich ist jedoch nicht hierauf beschränkt. Der Bildverarbeitungsbereich kann beispielsweise ein Abschnitt des Bildes aus der Vogelperspektive nahe dem Fahrzeug sein. Mit dieser Konfiguration verkürzt sich die Verarbeitungszeit im Vergleich zur Ausführung der Bildverarbeitung für die Gesamtheit des Bildes aus der Vogelperspektive.
(3g) In den oben beschriebenen Ausführungsformen ist das Beispiel beschrieben, bei dem vier Kameras einschließlich der Frontkamera, der linken Seitenkamera, der rechten Seitenkamera und der Heckkamera als die Bildaufnahmevorrichtung 2 verwendet werden; die Bildaufnahmevorrichtung ist jedoch nicht hierauf beschränkt, und es können eine oder mehrere Kameras verwendet werden.
(3h) Mehrere Funktionen, die in den vorstehend beschriebenen Ausführungsformen in nur einer Komponente enthalten sind, können durch mehrere Komponenten implementiert sein, oder nur eine Funktion, die in nur einer Komponente enthalten ist, kann durch mehrere Komponenten implementiert sein. Alternativ können mehrere Funktionen, die in mehreren Komponenten enthalten sind, durch nur eine Komponente implementiert sein, und kann nur eine Funktion, die durch mehrere Komponenten implementiert ist, durch nur eine Komponente implementiert sein. Darüber hinaus können einige der Konfigurationen der vorstehend beschriebenen Ausführungsformen ausgelassen sein. Darüber hinaus können wenigstens einige der Konfigurationen der vorstehend beschriebenen Ausführungsformen zu anderen Konfigurationen der vorstehend beschriebenen Ausführungsformen hinzugefügt oder durch diese ersetzt werden. Es sollte beachtet werden, dass jegliche Formen innerhalb der technischen Idee gemäß dem Wortlaut der Ansprüche Ausführungsformen der vorliegenden Offenbarung sind.
(3i) Zusätzlich zu der vorstehend beschriebenen Bildverarbeitungsvorrichtung 1 kann die vorliegende Offenbarung in verschiedenen Formen implementiert werden, wie beispielsweise als System, das als Komponente die Bildverarbeitungsvorrichtung 1 enthält, als Programm zum Ausführen der vorstehend beschriebenen Bildverarbeitung durch einen Computer, als nichtflüchtiges materielles Aufzeichnungsmedium, wie beispielsweise ein Halbleiterspeicher, der das Programm aufzeichnet, und als Bildverarbeitungsverfahren.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2016199184 [0001]
JP 2003006621 A [0004]

Claims

Bildverarbeitungsvorrichtung (1) mit: - einer Bilderfassungseinheit (1, S1), die konfiguriert ist, um ein aufgenommenes Bild von einer Bildaufnahmevorrichtung (2) zu erfassen, die konfiguriert ist, um ein Bild einer Peripherie eines Fahrzeugs aufzunehmen; - einer Erfassungseinheit (1, S3), die konfiguriert ist, um eine Fahrbahnmarkierung (30), die eine Fahrspur des Fahrzeugs definiert, aus dem von der Bilderfassungseinheit erfassten aufgenommenen Bild zu erfassen; und - einer Anzeigeverarbeitungseinheit (1, S11 bis S15, S41 bis S45, S5), die konfiguriert ist, um, auf einer Anzeigevorrichtung (3), ein Überlagerungsbild als das aufgenommene Bild anzuzeigen, auf dem ein Markierungsbild (31) zum Unterstützen der Sichtbarkeit der Fahrbahnmarkierung derart überlagert ist, dass das Markierungsbild der von der Erfassungseinheit erfassten Fahrbahnmarkierung überlagert ist.
Bildverarbeitungsvorrichtung nach Anspruch 1, ferner eine Entscheidungseinheit (1, S16 bis S22, S46, S49, S50) aufweisend, die konfiguriert ist, um eine Anzeigeform des Markierungsbildes zu entscheiden, wobei die Anzeigeverarbeitungseinheit konfiguriert ist, um, auf der Anzeigevorrichtung, das Überlagerungsbild basierend auf der von der Entscheidungseinheit entschiedenen Anzeigeform anzuzeigen.
Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die Entscheidungseinheit (1, S16 bis S19, S46, S49) konfiguriert ist, um einen Abstand zwischen dem Fahrzeug und der Fahrbahnmarkierung zu berechnen, um so die Anzeigeform des Markierungsbildes entsprechend dem berechneten Abstand zu ändern.
Bildverarbeitungsvorrichtung nach Anspruch 3, wobei die Entscheidungseinheit konfiguriert ist, um die Anzeigeform des Markierungsbildes so zu ändern, dass eine Breite des Markierungsbildes in einem Fall, in dem der berechnete Abstand kürzer oder gleich als ein bestimmter Wert ist, größer ist als diejenige des Markierungsbildes in einem Fall, in dem der berechnete Abstand nicht kürzer oder gleich als der bestimmte Wert ist.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 2 bis 4, wobei die Entscheidungseinheit (1, S20 bis S22, S50) konfiguriert ist, um die Anzeigeform des Markierungsbildes entsprechend einer Art von Fahrbahnmarkierung zu ändern, die von der Erfassungseinheit erfasst wird.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 5, ferner eine Bestimmungseinheit (1, S47, S48) aufweisend, die konfiguriert ist, um zu bestimmen, ob das Fahrzeug einen Spurwechselzustand aufweist oder nicht, wobei die Anzeigeverarbeitungseinheit in einem Fall, in dem die Bestimmungseinheit bestimmt, dass das Fahrzeug den Spurwechselzustand aufweist, konfiguriert ist, um das der Fahrbahnmarkierung, die durch einen Spurwechsel überquert werden soll, zu überlagernde Markierungsbild nicht anzuzeigen.