DE112013001647T5

DE112013001647T5 - Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren im Fahrzeug

Info

Publication number: DE112013001647T5
Application number: DE112013001647.8T
Authority: DE
Inventors: c/o Hitachi Automotive Systems Lt Otsuka Yuji
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2012-03-23
Filing date: 2013-02-06
Publication date: 2014-12-18
Also published as: WO2013140873A1; DE112013001647T8; JP2013200603A; US20150035984A1

Abstract

Die Aufgabe der vorliegenden Erfindung ist es, die Detektionsfähigkeit zum Detektieren eines vorausfahrenden Fahrzeugs, das mit einem Fahrzeug des Fahrers kollidieren kann, mittels einer Stereokamera mit CMOS-Sensoren des Rolling-Shutter-Typs zu verbessern. Die vorliegende Erfindung bezieht sich auf eine fahrzeuginterne Bildverarbeitungsvorrichtung, die umfasst: mehrere Abbildungsabschnitte zum Abbilden des Bereiches vor einem Fahrzeug des Fahrers; einen Bildverarbeitungsabschnitt zum Detektieren eines weiteren Fahrzeugs unter Verwendung von Disparitätsinformationen über mehrere Bilder, die durch die Abbildungsabschnitte aufgenommen werden. In diesem Fall umfassen die Abbildungsabschnitte Abbildungsvorrichtungen, wobei die Belichtungszeitvorgabe von jeder von diesen sich auf der Basis einer Zeile des Abbildungsschirms unterscheidet, und die Abbildungsvorrichtungen werden aufeinanderfolgend in der Richtung von dem untersten Rand bis zu dem obersten Rand des weiteren Fahrzeugs belichtet.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren im Fahrzeug, die verwendet werden, um Bilder rund um ein Fahrzeug zu erhalten und Hindernisse zu entdecken und dergleichen.
Hintergrund
Eine fahrzeuginterne Verarbeitung zum Detektieren eines Hindernisses vor dem Fahrzeug mit einer Kamera im Fahrzeug wurde vielfach untersucht und als eine vorbeugende Sicherheitstechnik für Fahrzeuge entwickelt. Insbesondere da eine Stereokamera, die in der Patentliteratur 1 offenbart ist und zwei Kameras verwendet, eine Entfernung zu einem Hindernis detektieren kann, kann die Stereokamera zum Aufbau eines leistungsfähigeren Systems im Vergleich mit einem typischen monokularen Kamera verwendet werden, so dass verschiedene Arten von Anwendungen realisiert werden können.
Da eine Stereokamera zwei Kameras verwendet, ist es wichtig, eine Art von Abbildungsvorrichtung auszuwählen, wenn in Betracht gezogen wird, die Stereokamera zu einem kommerziellen Produkt zu machen. Ein CMOS-Sensor hat den Vorteil, dass er eine geringere Anzahl von Komponenten benötigt und weniger elektrische Energie als ein CCD verbraucht. Daher ist er in den letzten Jahren weitverbreitet verwendet worden und es gibt viele Arten von kostengünstigen CMOS-Sensoren. Im Allgemeinen unterscheidet sich jedoch in der Wirklichkeit das Belichtungsschema eines CCD und eines CMOS-Sensors stark voneinander.
Bei einem CCD kann, da ein Schema, bei dem alle Pixel belichtet werden und die Inhalte sämtlicher Pixel gleichzeitig ausgelesen werden, d. h. ein sogenanntes Global-Shutter-Schema verwendet wird, die Gesamtheit eines Schirms belichtet werden. Auf der anderen Seite wird bei einem CMOS-Sensor ein Schema, bei dem jede Zeile eines Bildschirms belichtet wird und die Inhalte der Zeile gleichzeitig Zeile für Zeile ausgelesen werden, d. h. ein sogenanntes Rolling-Shutter-Schema, eingesetzt und damit kann die Gesamtheit eines Schirms nicht gleichzeitig belichtet werden. Im Allgemeinen werden die Pixel aufeinanderfolgend von den Pixeln der obersten Zeile des Bildes bis zu den Pixeln der untersten Zeile belichtet. Daher wird bei dem Rolling-Shutter-Schema, wenn sich die Positionsbeziehung zwischen einer Kamera und einem photographischen Gegenstand ändert, d. h. in dem Fall, in dem sich entweder die Kamera oder der photographische Gegenstand bewegt, eine Formverzerrung aufgrund von Abweichungen bei den photographischen Zeiten auftreten.
Da ein Grundbetriebszustand bei Fahrzeuganwendungen ein Zustand ist, in dem sich ein Fahrzeug eines Fahrers bewegt oder sich ein vorausfahrendes Fahrzeug, das ein photographischer Gegenstand ist, bewegt, ist dieses Formverzerrungsproblem unvermeidlich. Diese Formverzerrung führt auch zu einer Abweichung in der Disparität in einer Stereokamera, die die Verschlechterung der Detektionsfähigkeit und die Verschlechterung der Abstandsmessfähigkeit verursacht. Daher ist es wünschenswert, um die ganze Funktionalität der Fähigkeit einer Stereokamera auszunutzen, dass ein CCD mit einer Global-Shutter-Funktion oder ein spezieller CMOS-Sensor eines Global-Shutter-Typs verwendet wird.
Angesichts der oben erwähnten Vorteile der geringen Kosten und des geringen Energieverbrauchs des CMOS-Sensors ist es erforderlich, dass die Fähigkeit der Stereokamera vollständig mit einem CMOS-Sensor des Rolling-Shutter-Typs eingesetzt werden kann.
Entgegenhaltungsliste
Patentdokument(e)

Patentliteratur 1: Japanische ungeprüfte Offenlegungsschrift Nr. Hei1(1989)-26913

Zusammenfassung der Erfindung
Technisches Problem
Eine der Aufgaben der vorliegenden Erfindung ist es, die Detektionsfähigkeit zum Detektieren eines vorausfahrenden Fahrzeugs, das mit einem Fahrzeug des Fahrers kollidieren kann, zu verbessern und ein kostengünstiges Detektionsschema mit CMOS-Sensoren des Rolling-Shutter-Typs, die den Vorteil der geringen Kosten und des geringen Energieverbrauchs haben, bereitzustellen.
Lösung des Problems
Um das obige Problem anzugehen, umfasst eine fahrzeuginterne Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung: mehrere Abbildungsabschnitte zum Abbilden des Bereiches vor einem Fahrzeug des Fahrers; einen Bildverarbeitungsabschnitt zum Detektieren eines weiteren Fahrzeugs unter Verwendung von Disparitätsinformationen über mehrere Bilder, die durch die Abbildungsabschnitte aufgenommen werden. In diesem Fall umfassen die Abbildungsabschnitte Abbildungsvorrichtungen, wobei die Belichtungszeitvorgabe von jeder von diesen sich auf der Basis einer Zeile des Abbildungsschirms unterscheidet, und die Abbildungsvorrichtungen werden aufeinanderfolgend in der Richtung von dem untersten Rand bis zu dem obersten Rand des anderen Fahrzeugs belichtet.
Vorteilhafte Effekte der Erfindung
Gemäß der vorliegenden Erfindung kann die Detektionsfähigkeit zum Detektieren eines vorausfahrenden Fahrzeugs, das mit einem Fahrzeug des Fahrers kollidieren kann, verbessert werden und kann ein kostengünstiges Detektionsschema mit CMOS-Sensoren des Rolling-Shutter-Typs, die den Vorteil der geringen Kosten und des geringen Energieverbrauchs haben, geschaffen werden.
Kurzbeschreibung der Zeichnungen
1 zeigt ein Blockdiagramm der Anordnung einer fahrzeuginternen Steuereinrichtung zur Verwirklichung einer FCW (Vorwärtskollisionskontrolle) und/oder einer ACC (adaptiven Geschwindigkeitsregelung) gemäß einer Ausführungsform der vorliegenden Erfindung.
2 zeigt ein Anordnungsdiagramm einer Kamera und einer Bildanalyseeinheit gemäß dieser Ausführungsform.
3 zeigt ein Diagramm zur Erläuterung eines Farbwiedergabeschemas unter Verwendung von Farbvorrichtungen.
4 zeigt ein Diagramm zur Erläuterung einer Abstandsmessung mittels einer Stereokamera.
5 zeigt ein Bild, das durch Abbilden eines vorausfahrenden Fahrzeugs vor dem Fahrzeug des Fahrers erhaltenen wird.
6 ist ein Bilddiagramm, das zeigt, wie das vorausfahrende Fahrzeug von einem Rolling-Shutter-System gemäß einem Beispiel des Standes der Technik abgebildet wird, wenn das vorausfahrende Fahrzeug näher kommt.
7 ist ein Bilddiagramm, das zeigt, wie das vorausfahrende Fahrzeug von einem Rolling-Shutter-System gemäß dieser Ausführungsform abgebildet wird, wenn das vorausfahrende Fahrzeug näher kommt.
8 zeigt die normale Form des vorausfahrenden Fahrzeugs.
Beschreibung der Ausführungsformen
1 zeigt den Überblick über die gesamte Anordnung für die Verwirklichung einer FCW (Vorwärtskollisionskontrolle) und/oder einer ACC (adaptiven Geschwindigkeitsregelung) gemäß einer Ausführungsform der vorliegenden Erfindung. Eine Kamera 101, die ein Abbildungsabschnitt ist, ist an einem Fahrzeug 107 montiert, damit die Kamera den Sichtbereich vor dem Fahrzeug 107 erfassen kann. Bilder vor dem Fahrzeug, die durch die Kamera 101 aufgenommen werden, werden in eine Bildanalyseeinheit 102 eingegeben, die ein Bildverarbeitungsabschnitt ist, und die Bildanalyseeinheit 102 berechnet einen Abstand zu dem vorausfahrenden Fahrzeug und eine Relativgeschwindigkeit unter Verwendung der eingegebenen Bilder vor dem Fahrzeug. Informationen, die durch die Berechnung erhalten werden, werden an eine Steuereinheit 103 gesendet.
Die Steuereinheit 103 bestimmt den Grad der Kollisionsgefahr mittels des Abstands zu dem vorausfahrenden Fahrzeug und der relativen Geschwindigkeit, und gibt Befehle, um einen Alarmton aus einem Lautsprecher 104 auszugeben, um das Fahrzeug 107 durch Anwenden einer Bremse 106 zu verzögern, und andere Befehle. Zusätzlich führt die Steuereinheit 103 dann, wenn der Fahrer eine ACC-Funktion aktiviert, eine Steuerung über eine Beschleunigungsvorrichtung 105 aus, so dass das Fahrzeug 107 dem vorausfahrenden Fahrzeug mit einem gewissen Abstand dazwischen folgt. In dem Fall, in dem kein vorausfahrendes Fahrzeug vorhanden ist, führt die Steuereinheit 103 eine Steuerung über eine Beschleunigungsvorrichtung 105 so, dass das Fahrzeug 107 so beschleunigt wird, dass es eine eingestellte Geschwindigkeit hat, und andere Arten von Steuerung aus. Zusätzlich führt die Steuereinheit 103 dann, wenn der Abstand zu dem vorausfahrenden Fahrzeug klein wird, eine Steuerung so aus, dass die Geschwindigkeit des Fahrzeugs 107 durch geringere Anwendung der Beschleunigungsvorrichtung 105 und durch Anwenden der Bremse 106 verlangsamt wird, und führt andere Arten von Steuerung aus.
Als nächstes wird ein Verfahren beschrieben, bei dem ein vorausfahrendes Fahrzeug mittels einer Kamera detektiert wird. 2 zeigt eine interne Anordnungen der Kamera 101 (die ein Paar aus einer linken Kamera 101a und einer rechten Kamera 101b umfasst) und der in 1 gezeigten Bildanalyseeinheit 102. Die CMOS (die komplementären Metall-Halbleiter) 201, die jeweils Abbildungsvorrichtungen für die linke Kamera 101a und die rechte Kamera 101b sind, sind Abbildungsvorrichtungen, von denen jede ein Anordnung von Photodioden umfasst, die Licht in elektrische Ladung umwandeln. In dem Fall, in dem die CMOS 201 Farbvorrichtungen sind, werden Rohbilder an die DSP 202 übertragen und in Graustufenbilder umgewandelt. Die Graustufenbilder werden an eine Bildeingangsschnittstelle 205 der Bildanalyseeinheit 102 gesendet. In dem Fall, in dem die CMOS 201 monochrome Elemente sind, werden die Rohbilder so wie sie sind an eine Bildeingangsschnittstelle 205 der Bildanalyseeinheit 102 gesendet.
Obwohl Bildsignale kontinuierlich gesendet werden, umfasst der führende Teil jedes Bildsignals ein Synchronsignal, und nur Bilder mit benötigten Zeitvorgaben können durch die Bildeingangsschnittstelle 205 geladen werden. Die Bilder, die von der Bildeingangsschnittstelle 205 geladen werden, werden in einen Speicher 206 geschrieben und eine Disparitätsberechnungsverarbeitung und eine Analyse werden an den Bildern durch eine Bildverarbeitungseinheit 204 durchgeführt. Diese Teile der Verarbeitung werden später beschrieben. Dieser Ablauf der Verarbeitung wird in Übereinstimmung mit einem Programm 207 durchgeführt, das in einen Flash-ROM geschrieben worden ist. Eine CPU 203 führt die Steuerung und die notwendigen Berechnungen aus, so dass die Bildeingangsschnittstelle 205 Bilder lädt und die Bildverarbeitungseinheit 204 eine Bildverarbeitung ausführt.
Der CMOS 201 umfasst eine Belichtungssteuereinheit zum Durchführen der Belichtungssteuerung und ein Register zum Einstellen einer Belichtungszeit darin und bildet einen photographischen Gegenstand mit der durch das Register eingestellten Belichtungszeit ab. Der Inhalt des Registers kann von der CPU 203 umgeschrieben werden, und die umgeschriebene Belichtungszeit wird zum Zeitpunkt der Abbildung des nächsten Einzelbilds oder des nächsten Feldes oder später beachtet. Die Belichtungszeit ist elektrisch steuerbar und stellt eine Beschränkung für die Menge an Licht dar, die auf den CMOS 201 einwirkt. Obwohl die Steuerung der Belichtungszeit wie oben erwähnt durch ein elektrisches Shutter-Schema durchgeführt wird, kann sie in ähnlicher Weise durch eine Schema durchgeführt werden, in dem ein mechanischer Verschluss geöffnet oder geschlossen wird. Darüber hinaus ist es auch denkbar, dass die Belichtungsmenge durch Einstellung einer Öffnung verändert wird. Zusätzlich ist es dann, wenn von den Zeilen nur jede zweite Zeile betrieben wird, wie es beim Interlacing der Fall ist, denkbar, dass der Belichtungsbetrag für ungerade Zeilen und der Belichtungsbetrag für gerade Zeilen voneinander verschieden eingestellt werden.
Hier wird das Umwandlungsschema eines Rohbilds in ein Graustufenbild, das durch den DSP 202 durchgeführt wird, beschrieben. Im Falle einer Farbvorrichtung werden, da jedes Pixel nur die Intensität (Dichte) von einer Farbe der roten (R) Farbe, der grünen (G) Farbe und der blauen (B) Farbe messen kann, andere Farben außer den gemessenen Farben mit Bezug auf die Farben, die die gemessene Farbe umgeben, geschätzt. Beispielsweise werden die Farben R, G und B eines Pixels an der Position G22 in der Mitte von 3(a) aus den folgenden Ausdrücken (1) erhalten.
In ähnlicher Weise werden die Farben R, G und B eines Pixels an der Position R22 in der Mitte von 3(b) aus den folgenden Ausdrücken (2) erhalten.
Die Farben R, die Farben G und die Farben B der anderen Pixel können in ähnlicher Weise erhalten werden. Da solche Berechnungen wie oben der Reihe nach fortgesetzt werden, können drei Primärfarben, d. h. die Farben R, G und B jedes Pixels berechnet werden, was es ermöglicht, ein Farbbild zu erhalten. Mittels der Berechnungsergebnisse aller Pixel kann die Leuchtdichte Y für jeden Pixel aus dem nächsten Ausdruck (3) erhalten werden, ein Y-Bild wird erzeugt und das Y-Bild als Graustufenbild eingestellt. Y = 0.299R + 0.587G + 0.114B (3)
Als nächstes wird die Disparitätsberechnung mit Bezug auf 4 erläutert. Wenn angenommen wird, dass ein Abstand von einer Kamera zu einem vorausfahrenden Fahrzeug 402 durch Z gegeben ist, eine Basislänge zwischen einer linken optischen Achse und einer rechten optischen Achse durch B gegeben ist, eine Brennweite durch f gegeben ist und eine Disparität auf einem CMOS durch d gegeben ist, kann der Abstand Z aus dem nächsten Ausdruck mittels des homothetischen Verhältnisses zwischen zwei Dreiecken erhalten werden. Z = Bf / d (4)
Wie in 4 gezeigt, ist der Abstand Z, um genau zu sein, ein Abstand von dem Hauptpunkt einer Linse 401.
Als nächstes tritt dann, wenn die Abbildungsvorrichtungen der Stereokamera vom Rolling-Shutter-Typ sind, ein Problem in dem Fall, in dem FCW oder ACC verwirklicht sind, auf, das mit Bezug auf 5 und 6 beschrieben wird. 5 zeigt ein Bild, das durch Abbilden eines vorausfahrenden Fahrzeugs 501 erhalten wird. In dieser Situation wird nun der Fall betrachtet, in dem das Fahrzeug des Fahrers 107 dem vorausfahrenden Fahrzeug 501 so nahe kommt, dass es beinahe mit dem vorausfahrenden Fahrzeug 501 kollidiert.
Im Fall der Bildaufnahmevorrichtungen des Rolling-Shutter-Typs werden die Abbildungsvorrichtungen der Reihe nach von der obersten Zeile des Schirms aus belichtet und die unterste Zeile des Schirms wird als letzte belichtet, und da sich das vorausfahrende Fahrzeug während dieser Zeit allmählich nähert, wird der untere Teil des vorausfahrenden Fahrzeugs näher als der obere Teil des vorausfahrenden Fahrzeugs abgebildet. Mit anderen Worten werden Abstände zu dem vorausfahrenden Fahrzeug 501 so gemessen, als wenn das vorausfahrende Fahrzeug 501 mit seinem oberen Teil nach vorne gebogen verformt wäre, wie in 6 gezeigt. In dem Fall, in dem eine Stereokamera zum Detektieren eines Fahrzeugs verwendet wird, ist, da es zur Stabilität der Detektion führt, dass die Disparitäten des Hecks des Fahrzeugs gleichmäßig sind und nicht verändert werden, dann, wenn das Bild des vorausfahrenden Fahrzeugs in dem in 6 gezeigten Zustand ist, die Disparität zwischen dem oberen Rand des Fahrzeugs und dem unteren Rand voneinander verschieden und die berechneten Abstände zu dem oberen Rand und dem unteren Rand sind auch voneinander verschieden, was zu einer Verschlechterung der Stabilität der Detektion führt.
Daher ist die CMOS 201, die eine Abbildungsvorrichtung ist, physisch mit der Oberseite nach unten montiert. Das kopfstehende Bild wird von der Bildverarbeitungseinheit 204 wieder umgedreht. Als Ergebnis wird, da der obere Rand des vorausfahrenden Fahrzeugs später in Bezug auf die Zeit als der untere Teil des vorausfahrenden Fahrzeugs abgebildet wird, der obere Rand des vorausfahrenden Fahrzeug näher an dem Fahrzeug des Fahrers abgebildet, so dass das vorausfahrende Fahrzeug so abgebildet wird, als wäre es umgekehrt verformt, wie in 7 gezeigt. Die unteren Teile der Hecke fast aller Fahrzeuge sind ragen durch die Stoßfänger mehr hervor als die oberen Teile, so dass die oberen Teile der Fahrzeuge sind von der Vertikalen nach vorne geneigt sind. Daher kann, da das Heck eines Fahrzeugs in dem Fall, in dem das Fahrzeug wie in 7 gezeigt verformt ist, näher an der Vertikalen ist als in dem Fall, in dem das Fahrzeug wie in 6 gezeigt verformt ist, die Detektion stabil durchgeführt werden.
Andererseits wird dann, wenn das vorausfahrende Fahrzeug sich von dem Fahrzeug des Fahrers wegbewegt, das vorausfahrende Fahrzeug wie in 6 gezeigt abgebildet, was zu einer Instabilität der Detektion führt. Aber sowohl in dem Fall, in dem FCW verwendet wird, als auch in dem Fall, in dem ACC verwendet wird, ist der Grad der Kollisionsgefahr höher, wenn das vorausfahrende Fahrzeug näher kommt, als wenn das vorausfahrende Fahrzeug sich entfernt, so dass es wichtiger ist, dass die Detektion stabil durchgeführt wird, wenn das vorausfahrende Fahrzeug näher kommt. Daher ist es vorteilhafter, den CMOS 201 physisch auf den Kopf zu stellen, als den CMOS 201 normal zu montieren.
Obwohl die obige Ausführungsform unter der Annahme beschrieben worden ist, dass die CMOS-201 physisch mit der Oberseite nach unten montiert ist, ist es denkbar, da es passend ist, wenn die Reihenfolge der Belichtung von der untersten Zeile zu der obersten Zeile umgedreht wird, dass eine Vorrichtung, die dazu ausgelegt ist, die Reihenfolge der Belichtung von der untersten Zeile bis zu der obersten Zeile elektronisch umzukehren, ohne dass der CMOS 201 physisch mit der Oberseite nach unten montiert wird, verwendet wird.
Liste der Bezugszeichen

101 Kamera, 102 Bildanalyseeinheit, 103 Steuereinheit, 104 Lautsprecher, 105 Beschleunigungsvorrichtung, 106 Bremse, 107 Fahrzeug des Fahrers, 201a, 201b CMOS, 202a, 202b DSP, 203 CPU, 204 Bildverarbeitungseinheit, 205 Bildeingangsschnittstelle, 206 Speicher, 207 Programm (auf Flash-ROM), 208 CAN I/F, 401 Linse, 402 Ziel der Abstandsmessung (Vorausfahrendes Fahrzeug), 501 Vorausfahrendes Fahrzeug

Claims

Fahrzeuginterne Bildverarbeitungsvorrichtung, die umfasst: mehrere Abbildungsabschnitte zum Abbilden des Bereiches vor einem Fahrzeug des Fahrers; und einen Bildverarbeitungsabschnitt zum Detektieren eines weiteren Fahrzeugs unter Verwendung von Disparitätsinformationen über mehrere Bilder, die durch die Abbildungsabschnitte aufgenommen werden, wobei die Abbildungsabschnitte Abbildungsvorrichtungen umfassen, wobei die Belichtungszeitvorgabe von jeder von diesen sich auf der Basis einer Zeile des Abbildungsschirms unterscheidet, und die Abbildungsvorrichtungen aufeinanderfolgend in der Richtung von dem untersten Rand bis zu dem obersten Rand des weiteren Fahrzeugs belichtet werden.
Fahrzeuginterne Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Abbildungsvorrichtungen CMOS-Sensoren sind.
Fahrzeuginterne Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die CMOS-Sensoren mit der Oberseite nach unten montiert sind.
Fahrzeuginterne Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die CMOS-Sensoren in ihren normalen Positionen montiert sind und die Belichtungsreihenfolge in die Richtung von dem untersten Rand zu dem obersten Rand des weiteren Fahrzeugs elektronisch umgekehrt ist.
Fahrzeuginternes Bildverarbeitungsverfahren, das umfasst: einen ersten Schritt des Aufnehmens mehrerer Bilder des Bereiches vor einem Fahrzeug des Fahrers; und einen zweiten Schritt des Detektierens eines weiteren Fahrzeugs unter Verwendung von Disparitätsinformationen über die Bilder, die in dem ersten Schritt aufgenommen werden, wobei der erste Schritt ein Schritt ist, in dem die Zeilen des Abbildungsschirms zu voneinander verschiedenen Belichtungszeitvorgaben in der Richtung von dem untersten Rand bis zu dem obersten Rand des weiteren Fahrzeugs belichtet werden.