DE112012004352T5

DE112012004352T5 - Stereobildgebungsvorrichtung

Info

Publication number: DE112012004352T5
Application number: DE112012004352.9T
Authority: DE
Inventors: c/o Hitachi Autom. Syst. Ltd. Ichige Atsushi
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2011-10-18
Filing date: 2012-10-01
Publication date: 2014-07-03
Anticipated expiration: 2032-10-02
Also published as: US10218960B2; DE112012004352B4; JP2013088587A; WO2013058085A1; US20140232830A1; JP5860663B2

Abstract

Um eine Stereobildgebungsvorrichtung zu schaffen, die in einem Fall, in dem ein Helligkeitsunterschied groß ist, Parallaxeninformationen, die ein Parallaxenbild enthalten, in allen Bildaufnahmerahmen erfassen kann, werden eine Bilderfassungseinheit, die ein erstes Bild und ein zweites Bild mit einer vom ersten Bild verschiedenen Belichtungszeit erfasst, eine Verstärkungs- und Versatzkorrektureinheit 102, die die Helligkeit eines der erfassten ersten und zweiten Bilder korrigiert, eine Parallaxenberechnungseinheit 103, die die Parallaxe aus einem der durch die Helligkeitskorrektureinheit korrigierten Bilder und dem anderen der Bilder berechnet und ein Parallaxenbild und Parallaxeninformationen ausgibt, und eine Korrelationsbild-Erzeugungseinheit 105, die die erfassten ersten und zweiten Bilder miteinander kombiniert, um ein Kombinationsbild zu erzeugen, und die das erzeugte Kommunikationsbild ausgibt, geschaffen.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Stereobildgebungsvorrichtung mit mehreren Bildgebungsvorrichtungen
Technischer Hintergrund
In den letzten Jahren sind Hindernisdetektionsvorrichtungen, die unter Verwendung mehrerer Kameras, wie z. B. Stereokameras, Hindernisse, wie z. B. Fußgänger und Fahrzeuge, detektieren, praktisch verwendet worden. Die Stereokamera ist eine Vorrichtung, die die Positionsabweichung (Parallaxe) desselben Objekts auf mehreren gleichzeitig aufgenommenen Bildern durch Schablonenabgleich berechnet und die Position des Objekts im realen Raum basierend auf der berechneten Parallaxe in Übereinstimmung mit einer bekannten Umrechnungsgleichung berechnet.
Die Stereokamera ist so, dass ein Abstand zu einem Objekt, um das Objekt zu erkennen, unter Verwendung eines Paars von Bildern, das durch zwei linke und rechte Bildgebungsvorrichtungen aufgenommen wird, berechnet wird.
In der offenbarten PTL 1 ist es möglich, unter Verwendung der Stereokamera die Stereobildgebung auszuführen, die ein Bild in einer Szene mit einem großen Helligkeitsunterschied aufzeichnet und ein Problem löst, bei dem ein Beobachter einen Helligkeitsunterschied aufgrund ausgelöschter hellster Stellen oder belegter Schatten bei der Reproduktion des Bildes nicht wahrnehmen kann.
Außerdem offenbart die PTL 2 anstelle der Stereokamera eine Bildgebungsvorrichtung, die ein dreidimensionales Bild mit einem weiten Dynamikbereich und Abstandsinformationen in hoher Genauigkeit erfassen kann.
Entgegenhaltungsliste
Patentliteratur

PTL 1: JP 2000-56414 A
PTL 2: JP 2003-18617 A

Zusammenfassung der Erfindung
Technisches Problem
Wenn ein Abschnitt mit hoher Helligkeit durch eine Bildgebungsvorrichtung mit einem allgemeinen Dynamikbereich (z. B. etwa 60 dB) in einem Fall, in dem ein Helligkeitsunterschied groß ist, z. B. in einem Fall, in dem eine Straßenoberfläche und die Bremsleuchte eines führenden Fahrzeugs gleichzeitig in der Nacht aufgenommen werden, oder in einem Fall, in dem Bereiche innerhalb und außerhalb eines Tunnels am Eingang des Tunnels gleichzeitig aufgenommen werden, belichtet wird, werden andere Abschnitte verdunkelt (die im Folgenden als belegte Schatten bezeichnet werden). Wenn umgekehrt ein Abschnitt mit geringer Helligkeit belichtet wird, wird der Abschnitt mit hoher Helligkeit gesättigt, so dass er weiß ist (was im Folgenden als ausgelöschte hellste Stellen bezeichnet wird).
Beim Behandeln eines derartigen Problems kann die in Beziehung stehende Technik wie die PTL 1 Bilder auf eine derartige Weise aufnehmen, dass die Belichtungszeiten der linken und der rechten Kamera, die die Stereobildgebung ausführen können, unterschiedlich gemacht werden. In diesem Fall werden jedoch das linke und das rechte Bild nur miteinander kombiniert und ausgegeben, so dass ihre Helligkeiten zu einem größten Ausmaß gleich aussehen. Deshalb können die Parallaxeninformationen, die ein Parallaxenbild enthalten, nicht erfasst werden.
Um die Parallaxeninformationen, die ein Parallaxenbild enthalten, in einer Stereobildgebungsvorrichtung zu erfassen, ist es außerdem erforderlich, dass zwei Bilder die gleiche Helligkeit aufweisen. Die Beziehung stehenden Technik wie die Patentliteratur 2 kann ein Bild mit langer Belichtung und ein Bild mit kurzer Belichtung miteinander kombinieren, um ein Bild mit einem weiten Dynamikbereich für jeden Bildaufnahmerahmen zu erzeugen. In diesem Fall sind jedoch wenigstens zwei oder mehr Rahmen erforderlich, um das Bild mit langer Belichtungszeit und das Bild mit kurzer Belichtungszeit zu erfassen. Wenn die Bildaufnahmezeit beim Fahren mit hoher Geschwindigkeit unterschiedlich ist, wird ein erfasstes Bild, d. h. ein die Szene aufnehmendes Bild, im hohen Maße geändert. Deshalb ist es schwierig, die Parallaxeninformationen, die ein Parallaxenbild enthalten, genau zu erfassen.
Es ist eine Aufgabe der Erfindung, eine Stereobildgebungsvorrichtung zu schaffen, die in einem Fall, in dem ein Helligkeitsunterschied groß ist, die Parallaxeninformationen, die ein Parallaxenbild enthalten, in allen Bildaufnahmerahmen erfassen kann.
Die Lösung für das Problem
Um die oben beschriebenen Probleme zu lösen, enthält eine Stereobildgebungsvorrichtung der vorliegenden Erfindung: eine Bilderfassungseinheit, die ein erstes Bild und ein zweites Bild mit einer vom ersten Bild verschiedenen Belichtungszeit erfasst; eine Helligkeitskorrektureinheit, die die Helligkeit von einem der erfassten ersten und zweiten Bilder korrigiert; eine Parallaxenberechnungseinheit, die die Parallaxe von einem der durch die Helligkeitskorrektureinheit korrigierten Bilder und dem anderen der Bilder berechnet und ein Parallaxenbild und Parallaxeninformationen ausgibt; und eine Kombinationsbild-Erzeugungseinheit, die die erfassten ersten und zweiten Bilder miteinander kombiniert, um ein Kombinationsbild zu erzeugen, und die das erzeugte Kombinationsbild ausgibt.
Die vorteilhaften Wirkungen der Erfindung
Gemäß der vorliegenden Erfindung ist es möglich, eine Stereobildgebungsvorrichtung zu schaffen, die in einem Fall, in dem ein Helligkeitsunterschied groß ist, Parallaxeninformationen, die ein Parallaxenbild enthalten, in allen Bildaufnahmerahmen erfassen kann.
Kurzbeschreibung der Zeichnungen
1 ist eine graphische Darstellung, die eine Ausführungsform einer Stereobildgebungsvorrichtung gemäß der vorliegenden Erfindung zeigt.
2 ist eine graphische Darstellung, die Beispiele von Bildern in den in 1 gezeigten jeweiligen Prozessen zeigt.
3 ist eine graphische Darstellung, die eine weitere Ausführungsform einer Stereobildgebungsungsvorrichtung gemäß der vorliegenden Erfindung zeigt.
Beschreibung der Ausführungsformen
Im Folgenden wird unter Verwendung der Zeichnungen eine Beschreibung der Ausführungsformen gegeben.
Die erste Ausführungsform
Diese Ausführungsform beschreibt unter Verwendung der 1 und 2 eine Stereobildgebungsvorrichtung 100.
Beispiele einer Vorrichtung mit Bildgebungsvorrichtungen zum Erfassen von zwei Bildern enthalten z. B. ein Kameramodul. Im Folgenden werden eine linke Kamera 110 (eine erste Bildgebungsvorrichtung) und eine rechte Kamera 111 (eine zweite Bildgebungsvorrichtung) erwähnt.
Sowohl die linke Kamera 110 als auch die rechte Kamera 111 können ein Bild mit einer anderen Belichtungszeit aufnehmen. Dementsprechend können die linke Kamera 110 und die rechte Kamera 111 als die erfassten Bilder, wenn sie gleichzeitig aufgenommen werden (die als die Bilder desselben Rahmens bezeichnet werden), ein helles Bild 200 (ein erstes Bild) bzw. ein dunkles Bild 210 (ein zweites Bild, das dunkler als das erste Bild ist) aufnehmen. Die linke und die rechte Kamera können in Abhängigkeit von den Bildgebungsbedingungen und den Bildgebungsobjekten ständig Bilder mit unterschiedlichen Belichtungszeiten aufnehmen oder können Bilder mit der gleichen Belichtungszeit aufnehmen, wie es die Umstände verlangen. Im Folgenden wird zum Zweck des Beschreibens der vorliegenden Erfindung angenommen, dass die linke Kamera 110 ein Bild mit einer langen Belichtungszeit (einer ersten Belichtungszeit) aufnimmt, um ein helles Bild zu erfassen, und dass die rechte Kamera 111 ein Bild mit einer kurzen Belichtungszeit (einer zweiten Belichtungszeit, die kürzer als die erste Belichtungszeit ist) aufnimmt, um ein dunkles Bild zu erfassen.
Eine Bilderfassungseinheit erfasst das helle Bild 200 und das dunkle Bild 210, die durch die linke Kamera 110 bzw. die rechte Kamera 111 aufgenommen werden, und gibt die erfassten hellen und dunklen Bilder des hellen Bildes 200 und des dunklen Bildes 210 in eine Parallaxenberechnungseinheit 101 und eine Bildkombinationseinheit 104 ein. In der Parallaxenberechnungseinheit 101 werden das helle und das dunkle Bild in eine Verstärkungs- und Versatzkorrektureinheit 102 eingegeben, die als eine Helligkeitskorrektureinheit dient, die die Helligkeit der Bilder korrigieren kann. Die Verstärkungs- und Versatzkorrektureinheit 102 bewirkt, dass die Helligkeit des hellen Bildes 200 und die des dunklen Bildes 210 einander entsprechen. Weil die Verstärkungs- und Versatzkorrektureinheit 102 die Belichtungszeiten der linken Kamera 110 und der rechten Kamera 111 im Voraus speichert, führt sie mit einem Verstärkungswert und einem Versatzkorrekturwert, die aus den Belichtungszeiten berechnet werden, eine Korrektur aus, um zu bewirken, dass die Helligkeiten des linken und des rechten hellen bzw. dunklen Bildes einander entsprechen. Unter Verwendung des linken Bildes 201 und des rechten Bildes 211, bei denen der Helligkeitsunterschied eingestellt worden ist, berechnet die Parallaxenberechnungseinheit 103 ein Stereoparallaxenbild 220 und die Parallaxeninformationen 221.
Andererseits bewirkt eine Kombinationsbild-Erzeugungseinheit 105 basierend auf dem linken und dem rechten hellen bzw. dunklen Bild, die in die Bildkombinationseinheit 104 eingegeben werden, dass die ”ausgelöschten hellsten Stellen” und die ”belegten Schatten” einander ergänzen, um ein Bild 230 mit einem weiten Dynamikbereich zu erzeugen. Um zu bewirken, dass die ”ausgelöschten hellsten Stellen” und die ”belegten Schatten” der Bilder einander ergänzen, kann hier die Kombinationsbild-Erzeugungseinheit 105 außerdem Bildbereiche, die für die Erzeugung eines Kombinationsbildes geeignet sind, aus dem durch die linke Kamera 110 aufgenommenen hellen Bild und dem durch die rechte Kamera 111 aufgenommenen dunklen Bild unter Verwendung der Parallaxeninformationen 221, die durch die Parallaxenberechnungseinheit 103 berechnet werden, als die Informationen, die verwendet werden, um das Kombinationsbild zu erzeugen, auswählen.
Mit der oben beschriebenen Konfiguration können das helle Bild 200 von der linken Kamera 110, das dunkle Bild 210 von der rechten Kamera 111, das Stereoparallaxenbild 220 und das Bild 230 mit einem weiten Dynamikbereich erzeugt werden.
Hier wählt eine Bildauswahleinrichtungs-Einheit 106 irgendeines von dem hellen Bild 200 (dem ersten Bild) von der linken Kamera 110, dem dunklen Bild 210 (dem zweiten Bild) von der rechten Kamera 111, dem Stereoparallaxenbild 220 (dem Parallaxenbild) und dem Bild 230 mit einem weiten Dynamikbereich (dem Kombinationsbild) aus und gibt dieses aus.
Die Bildauswahleinrichtungs-Einheit 106 wählt z. B. irgendeines der oben beschriebenen Bilder als ein Bild aus, das für eine Bildverarbeitungsanwendung geeignet ist, wodurch eine nachfolgende Bildverarbeitungseinheit 112 eine Bildverarbeitung ausführen kann.
Wie oben beschrieben worden ist, kann gemäß der Stereobildgebungsvorrichtung der vorliegenden Erfindung ein Bild mit einem weiten Dynamikbereich mit einer Leistung, die höher als die Dynamikbereichsleistung einer Bildgebungsvorrichtung ist, durch die Kombination der von einem Rahmen aufgenommenen Bilder erzeugt werden, wobei die Parallaxeninformationen, die ein Parallaxenbild enthalten, wie in der in Beziehung stehenden Technik erfasst werden können. Deshalb kann durch eine Stereobildgebungsvorrichtung eine Multifunktions-Bildverarbeitung verwirklicht sein.
Die zweite Ausführungsform
Diese Ausführungsform beschreibt ein Beispiel einer Stereobildgebungsvorrichtung, die die Bildbestimmung und die Bildauswahl ungleich zur ersten Ausführungsform ausführen kann.
3 ist ein Beispiel einer graphischen Darstellung einer Konfiguration, die eine Stereobildgebungsvorrichtung 400 gemäß der zweiten Ausführungsform zeigt.
Die Beschreibungen der Einheiten, die Konfigurationen aufweisen, die durch die gleichen Symbole wie jene, die in 1 gezeigt sind, bezeichnet sind und die oben beschrieben worden sind, und die Einheiten, die die gleichen Funktionen wie die der in 1 gezeigten Stereobildgebungsvorrichtung 100 aufweisen, werden weggelassen.
Die in 3 gezeigte Stereobildgebungsvorrichtung 400 ist eine, in der eine Bildbestimmungeinheit 401 in der in 1 gezeigten Stereobildgebungsvorrichtung 100 vorgesehen ist. Ein Ergebnis der Bildbestimmungeinheit 401 ist mit einer linken Kamera 110, einer rechten Kamera 111 und einer Bildauswahleinrichtungs-Einheit 106 verbunden. Außerdem ist eine äußere Bildauswahleinheit 411 mit der Bildauswahleinrichtungs-Einheit 106 verbunden.
Wie die Stereobildgebungsvorrichtung 100 bestimmt die Bildbestimmungeinheit 401 ein in einer Bildverarbeitungseinheit 112 erforderliches Bild basierend auf einem hellen Bild 200 (einem ersten Bild), einem dunklen Bild 210 (einen zweiten Bild, das dunkler als das erste Bild ist) und einem Bild 230 mit einem weiten Dynamikbereich. Die Bildauswahleinrichtungs-Einheit 106 wählt das Bild basierend auf den Informationen von der Bildbestimmungeinheit 401 aus.
Außer dem Auswählen eines Bildes in Übereinstimmung mit einem Befehl von der Bildbestimmungeinheit 401 kann die Bildauswahleinrichtungs-Einheit 106 außerdem das Bild in Übereinstimmung mit einem Bildauswahlbefehl von der äußeren Bildauswahleinheit 411 wählen.
Außerdem kann die Bildbestimmungeinheit 401 ebenfalls die Belichtungszeiten in Abhängigkeit von den Bildgebungsbedingungen bestimmen und die Belichtungszeiten der linken Kamera 110 und der rechten Kamera 111 direkt steuern. Das heißt, die Belichtungszeiten der Bildgebungsvorrichtungen werden bestimmt, wobei die bestimmten Belichtungszeiten an die Bildgebungsvorrichtungen ausgegeben werden. Folglich werden außer der Funktion des Einstellens der linken und der rechten Belichtungszeit die Belichtungszeiten für jeden Rahmen eingestellt, so dass für jeden Rahmen ein helles Bild und ein dunkles Bild aufgenommen werden können. Außerdem wird z. B. eine nächtliche Bildaufnahmeszene (ein völlig dunkles Bild) basierend auf einem äußeren Faktor 412 (den Informationen über einen äußeren Faktor), wie z. B. den Seitenleuchten-Beleuchtungsinformationen, erkannt, so dass die Belichtungszeiten, um ein helles Bild und ein dunkles Bild zu erhalten, außerdem gesteuert werden können.
Auf die oben beschriebene Weise können mit der Steuerung der Belichtungszeiten der linken Kamera 110 und der rechten Kamera 111 ein helles Bild und ein dunkles Bild in dem selben Rahmen erfasst werden, wobei sie zwischen unterschiedlichen Rahmen separat erfasst werden können.
Wie oben beschrieben worden ist, kann gemäß der vorliegenden Erfindung ein Bild, das für eine Bildverarbeitungsanwendung am geeignetsten ist, aus den durch die Stereobildgebungsvorrichtung erfassten Bildern ausgewählt werden, wobei z. B. Mehrfachfunktionen durch die eine Stereobildgebungsvorrichtung verwirklicht sein können.
Die Belichtungszeiten der linken Kamera 110 und der rechten Kamera 111 in demselben Rahmen und in unterschiedlichen Rahmen können jede gesteuert werden, wie es die Umstände verlangen. Es ist andererseits außerdem möglich, die Belichtungszeiten konstant festzulegen. In diesem Fall können Funktionen, die zu den herkömmlichen Funktionen äquivalent sind, außerdem verwirklicht sein.
Die dritte Ausführungsform
Diese Ausführungsform beschreibt ein Beispiel einer Stereobildgebungsvorrichtung mit zwei oder mehr Bildgebungsvorrichtungen.
Mit der Bereitstellung einer dritten und einer vierten Kamera (einer dritten und einer vierten Bildgebungsvorrichtung) außer der linken Kamera 110 und der rechten Kamera 111 in den Konfigurationen, die in der in 1 gezeigten Stereobildgebungsvorrichtung 100 und in der in 3 gezeigten Stereobildgebungsvorrichtung 400 beschrieben worden sind, ist es außerdem möglich, auf die gleiche Weise, die oben beschrieben worden ist, verschiedene Bilder zu erzeugen. Außerdem kann die dritte Ausführungsform z. B. ebenfalls auf einen Fall angewendet werden, in dem mehrere monokulare Kameras miteinander kombiniert sind.
Bezugszeichenliste

100, 400: Stereobildgebungsvorrichtung
102: Verstärkungs- und Versatzkorrektureinheit
103: Parallaxenberechnungseinheit
105: Kombinationsbild-Erzeugungseinheit
106: Bildauswahleinrichtungs-Einheit
110: linke Kamera
111: rechte Kamera
112: Bildverarbeitungseinheit
200: helles Bild
210: dunkles Bild
220: Parallaxenbild
221: Parallaxeninformationen
230: Bild mit einem weiten Dynamikbereich
401: Bildbestimmungeinheit
411: Bildauswahleinheit
412: äußerer Faktor

Claims

Stereobildgebungsvorrichtung, die umfasst: eine Bilderfassungseinheit, die ein erstes Bild und ein zweites Bild mit einer vom ersten Bild verschiedenen Belichtungszeit erfasst; eine Helligkeitskorrektureinheit, die die Helligkeit von einem der erfassten ersten und zweiten Bilder korrigiert; eine Parallaxenberechnungseinheit, die die Parallaxe von einem der durch die Helligkeitskorrektureinheit korrigierten Bilder und dem anderen der Bilder berechnet und ein Parallaxenbild und Parallaxeninformationen ausgibt; und eine Kombinationsbild-Erzeugungseinheit, die die erfassten ersten und zweiten Bilder miteinander kombiniert, um ein Kombinationsbild zu erzeugen, und die das erzeugte Kombinationsbild ausgibt.
Stereobildgebungsvorrichtung nach Anspruch 1, wobei die Kombinationsbild-Erzeugungseinheit ein Kombinationsbild aus dem erfassten ersten und dem erfassten zweiten Bild und den Parallaxeninformationen erzeugt.
Stereobildgebungsvorrichtung nach Anspruch 1, die umfasst: eine Bildauswahleinrichtungs-Einheit, die irgendeines von dem ersten Bild, dem zweiten Bild mit einer vom ersten Bild verschiedenen Belichtungszeit, dem Parallaxenbild und dem Kombinationsbild auswählt und das ausgewählte Bild ausgibt.
Stereobildgebungsvorrichtung nach Anspruch 3, die umfasst: eine Bildbestimmungeinheit, in die das erste Bild, das zweite Bild mit einer vom ersten Bild verschiedenen Belichtungszeit und das Kombinationsbild eingegeben werden und die irgendeines der eingegebenen Bilder bestimmt, wobei die Bildauswahleinrichtungs-Einheit das durch die Bildbestimmungeinheit bestimmte Bild auswählt.
Stereobildgebungsvorrichtung nach Anspruch 3, wobei die Bildauswahleinrichtungs-Einheit ein Bild basierend auf einem von außen eingegebenen Bildauswahlbefehl auswählt.
Stereobildgebungsvorrichtung nach Anspruch 1, die umfasst: eine Bildbestimmungeinheit, in die das erste Bild, das zweite Bild mit einer vom ersten Bild verschiedenen Belichtungszeit und das Kombinationsbild eingegeben werden und die irgendeines der eingegebenen Bilder bestimmt, wobei die Bildbestimmungeinheit die Belichtungszeiten der Bildgebungsvorrichtungen bestimmt und die bestimmten Belichtungszeiten an die Bildgebungsvorrichtungen ausgibt.
Stereobildgebungsvorrichtung nach Anspruch 6, wobei die Bildbestimmungeinheit die Belichtungszeiten der Bildgebungsvorrichtungen für jeden Rahmen bestimmt.
Stereobildgebungsvorrichtung nach Anspruch 6, wobei die Bildbestimmungeinheit die Belichtungszeiten der Bildgebungsvorrichtungen basierend auf den von außen eingegebenen Informationen über einen äußeren Faktor bestimmt.
Stereobildgebungsvorrichtung nach Anspruch 1, wobei die Bilderfassungseinheit wenigstens drei oder mehr Bilder erfasst.