DE10234645B4

DE10234645B4 - Kameraanordnung mit einer spiegelnden Fläche

Info

Publication number: DE10234645B4
Application number: DE10234645A
Authority: DE
Inventors: Alexander Dipl.-Phys. Würz-Wessel
Original assignee: DaimlerChrysler AG
Current assignee: Daimler AG
Priority date: 2002-07-29
Filing date: 2002-07-29
Publication date: 2004-07-22
Anticipated expiration: 2022-07-30
Also published as: WO2004013575A1; DE10234645A1; EP1525431A1

Abstract

Vorrichtung zur Stereobildverarbeitung im Kraftfahrzeug,
welche über wenigstens eine Kamera verfügt, in deren Blickfeld sich eine spiegelnde Oberfläche befindet,
wobei die spiegelnde Oberfläche so ausgerichtet ist, dass der gespiegelte Bereich mit demjenigen Bereich zumindest in Teilen überlappt, welcher durch die wenigstens eine Kamera direkt eingesehen werden kann,
dadurch gekennzeichnet,
dass sich die spiegelnde Oberfläche im Innenraum des Fahrzeugs befindet.

Description

Die Erfindung betrifft eine Vorrichtungen zur Stereobildverarbeitung in einem Kraftfahrzeug nach den Ansprüchen 1 und 2.
Durch falsche Einschätzung des Lichtraumprofils (Durchfahrtshöhe) kommt es im Nutzfahrzeugbereich immer wieder zu Beschädigungen am Fahrzeug. Ein Assistenzsystem, welches den Fahrer bei zu geringer Durchfahrtshöhe warnt, benötigt eine zuverlässige Vermessung des Lichtraumprofils.

Aus dem Artikel Nayar S.K., 1988, Sphereo: Determining Depth using Two Specular Spheres and a Single Camera, In Proceedings of SPIE: Optics, Illumination, and Image Sensing for Machine Vision III, Vol. 1005., SPIE, Society of Photo-Optical Engineering, 245-254 ist ein Verfahren und eine Vorrichtung zur Entfernungsmessung von Gegenständen bekannt, bei dem eine Kamera das Originalbild eines Gegenstandes sowie zwei Spiegelbilder des Gegenstandes, die an zwei spiegelnden Flächen reflektiert werden, aufnimmt. Mit diesen drei Bildern kann dann unter Zuhilfenahme eines mathematischen Algorithmus der Abstand des Gegenstandes bestimmt werden. Bei diesem Verfahren ist es wesentlich, daß die spiegelnden Flächen eine bestimmte Geometrie aufweisen. Ferner ist es unabdingbar, daß auch die örtlich Lage der spiegelnden Flächen sowohl hinsichtlich ihrer Entfernung und ihres Winkels bezüglich der Kamera als auch zueinander bekannt und immer gleichbleibend ist. Eine derartige Vorrichtung und damit das zugehörige Verfahren ist für eine Verwendung in einem Kraftfahrzeug und hierbei insbesondere einem Automobil allenfalls bedingt geeignet.

Des weiteren ist insbesondere im Bereich der Computer und Robottechnik ein Verfahren (Stereobildverarbeitung) bekannt, bei dem unter Zuhilfenahme zweier Kameras die Entfernung eines Gegenstandes bestimmt wird. Dabei geht die Basislinie, also die Entfernung der Kameras zueinander, in die Meßgenauigkeit ein. Aus diesem Blickwinkel wäre eine möglichst große Basislinie wünschenswert, was in einem Fahrzeug nur in engen Grenzen möglich ist. Des weiteren muß um die Entfernung des Gegenstandes bestimmen zu können, muß das Objekt im linken Bild und im rechten Bild eindeutig identifiziert werden. Die Wahrscheinlichkeit, diese Korrespondenz korrekt zu finden, wird Matching genannt und nimmt mit wachsender Basislinie und damit wachsendem Blickwinkelunterschied ab. Es muß also eine Abwägung zwischen Meßgenauigkeit und Matching-Wahrscheinlichkeit vorgenommen werden.

Darüber hinaus treten beim Zwei-Kamera-Stereo Probleme mit repetitiven Mustern auf. Lattenzäune, Alleenbäume oder Geländer, speziell wenn Teile des Musters für eine Kamera durch andere Objekte verdeckt sind, führen bei zwei Kameras zu falschem Matching und damit zu falschen Objektentfernungen. Verdeckungen treten durch die verschiedensten Objekte auf. Dies kann beispielsweise bei der Verwendung in einem Kraftfahrzeug ein vorausfahrendes Fahrzeug oder auch der Scheibenwischer sein, der den Blick einer Kamera gerade verdeckt. Ein System zur Bildverarbeitung in einem Kraftfahrzeug, welches diese Probleme beseitigt ist aus der nachveröffentlichten Schrift DE 10103870 A1 ist ein bekannt. Hierbei wird im Rahmen einer Stereobildverarbeitung zusätzlich zu den direkt von den Objekten empfangenen Originalbilder auch das an der Karosserie des Fahrzeugs reflektierte Abbild der Objekte ausgewertet. Nachteilig wirkt sich hierbei aus, dass die Spiegelcharakteristik der Karosserie durch die im Straßenverkehr übliche Verschutzung in erheblichen Maße beeinträchtigt werden kann und so die Qualität der Bildverarbeitung nicht unerheblich beeinflußt wird.

Die Aufgabe der Erfindung ist es, eine Vorrichtung zur Stereobildverarbeitung für Kraftfahrzeuge zu finden, welche wenig verschmutzt und welche sich robust und kostengünstig fertigen läßt.

Die Aufgabe wird zum einen durch eine Vorrichtung mit den Merkmalen des Patentanspruchs 1 und zum anderen durch eine Vorrichtung mit den Merkmalen des Patentanspruchs 2 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung werden durch die Unteransprüche beschrieben.

Die erfinderische Vorrichtung verfügt über wenigstens eine Kamera, in deren Blickfeld sich eine spiegelnde Oberfläche befindet. Hierbei ist die spiegelnde Oberfläche so ausgerichtet, dass der gespiegelte Bereich mit demjenigen Bereich zumindest in Teilen überlappt, welcher durch die wenigstens eine Kamera direkt eingesehen werden kann. Hierbei befindet sich die spiegelnde Oberfläche in besonders vorteilhafter Weise im Innenraum des Fahrzeugs. Auf diese weise kann entgegen den aus dem Stand der Technik bekannten Systemen vermieden werden, dass die spiegelnde Fläche verschmutzt und hierdurch die Stereobildauswertung beeinträchtigt wird.

In einer anderen erfinderischen Ausgestaltung der Vorrichtung sind die Kamera und die spiegelnde Oberfläche als eine bauliche Einheit ausgebildet. In besonders vorteilhafter Weise läßt sich hierbei die Vorrichtung in geeigneter Weise verschutzungsunempfindlich ausgestalten, beispielsweise indem sie schon bei der Fertigung mit einer schmutzabweisenden oder einfach zu reinigenden Blende versehen wird. Auch läßt sich eine solche Anordnung als kompaktes Element in die Aussenhaut oder Außenaufbauten von Fahrzeugen integrieren.

Nachfolgend wird anhand von Ausführungsbeispielen und Figuren die Erfindung und deren Ausgestaltungen näher beschrieben.
Dabei zeigen:
1 die aus der Anordnung von Kamera und spiegelnder Fläche resultierende Stereogeometrie
2 die Abbildung einer typischen Straßenszene in den Bilddaten
Bei der neuartigen, erfinderischen 1-Kamera/1-Spiegel Kameraanordnung wird durch die spiegelnde Oberfläche eine zweite, virtuelle Kamera erzeugt und so ein Stereokamerasystem emuliert, bei welchem sich durch geeignete Positionierung der Kamera zu der spiegelnden Oberfläche eine optimale virtuelle Basisbreite einstellen läßt. Da diese virtuelle Basisbreite im allgemeinen wesentlich größer als der Abstand zwischen Kamera und spiegelnde Oberfläche ist (1), läßt sich ein solches System in besonders vorteilhafter Weise kompakter gestalten als dies für ein herkömmliches Stereokamerasystem der Fall ist. Beispielhaft ist in 1 schematisch die Anordnung einer Kamera 11 mit einer spiegelnden Fläche 12 aufgezeigt. Durch diese Kombination ergibt sich eine Basisbreite b zwischen Kamera 11 und der virtuellen Kamera 13, welche signifikant größer als der reale Abstand a zwischen der Kamera 12 und der spiegelnden Fläche ist.
Im Gegensatz zu der nachveröffentlichten Schrift DE 10103870 A1 beschriebenen Anordnung, bei welcher die lackierte Fahrzeugkarosserie Spiegelfläche fungiert, eröffnet die neuartige Ausgestaltung eine vom Fahrzeugdesign im wesentlichen unabhängige Ausgestaltung der Kameraanordnung. Zum einen kann die Form der spiegelnden Fläche unabhängig von der vorgegebenen Gestalt der Karosserie ganz nach den Bedürfnissen der von der Bildverarbeitung zu lösenden Aufgabenstellung gewählt werden. Zum anderen wird es möglich einen optimalen Kompromiss zwischen den Spiegeleigenschaften der spiegelnden Fläche und der Fahrzeuginnenraumgestaltung zu finden. So ist es beispielsweise denkbar bei dunkel gehaltener Fahrzeuginnenraumausstattung eine etwas abgedunkelte Spiegeloberfläche zu verwenden, welche jedoch noch genügend Umgebungsinfomation reflektiert. In Bezug auf die Variabilität der Formgebung, ist es sehr wohl auch denkbar die spiegelnde Oberfläche der Form seiner Umgebung anzupassen; beispielsweise dem Armaturenbrett.
Die spiegelnde Oberfläche kann beispielsweise durch spezielle Oberflächengestaltung eines Gegenstandes im Fahrzeuginnenraum geschaffen werden; so ist es denkbar, einen bestimmten Bereich des Armaturenbrettes spiegelnd zu polieren oder auch mit einer spiegelnden Schicht durch aufkleben oder bedampfen zu versehen. Es ist jedoch auch denkbar als spiegelnde Oberfläche einen speziellen der erfinderischen Kameraanordnung zugeordnenten Spiegel zu verwenden. Ein solcher Spiegel könnte beispielsweise insbesondere aus gestalterischen Überlegungen in einen im Fahrzeuginnenraum befindlichen Gegenstand eingelassen werden. Hierzu kann es sehr wohl gewinnbringend sein, den Spiegel nicht plan sonder an die Kontour dieses Gegenstandes angepasst auszuführen.
Eine zusätzliche Robustheit der Kameraanordnung, insbesondere hinsichtlich der im Straßenverkehr vorherrschenden starken Vibrationen des Fahrzeugaufbaus, kann der Spiegel direkt mit der Kamera in Verbindung stehen. Insbesondere für den Fall, dass der Spiegel direkt im Bereich der Linse der Kamera angebracht wird, kann ein besonders geringes Einbaumaß für die Stereo-Kameraanordnung realisiert werden. Durch die neu geschaffene Möglichkeit eine Stereokameraanordnung in ihren Dimensionen wesentlich zu reduzieren wird auch die Möglichkeit geschaffen, eine solche platzsparend in Krafträdern zu integrieren, bei welchen insbesondere aus Gründen der notwendigen Basisbreite der Kameraanordnung herkömmliche Stereokamerasysteme nicht optimal angeordnet werden können. Hierbei ist es insbesondere denkbar die Kameraanordnung geschützt hinter der Verkleidung, oberhalb der Armaturen, im 'Innenraum' des Motorrades anzuordnen.
Durch die Möglichkeit der kompakten Bauweise Anordnung von Kamera und spiegelnder Fläche ist es in besonders vorteilhafter Weise auch denkbar eine solche Kameraanordnung als eine bauliche Einheit auszugestalten, welche in Folge der Abbildungseigenschaften sehr robust gegen Einflüsse von Vibrationen sind, da die Kamera und die spiegelnde Fläche fest aneinander gekoppelt werden können. Eine solche bauliche Einheit läßt sich denn auch gewinnbringend im Außenbereich eines Kraftfahrzeugs montieren, beispielsweise durch Einlassung in die Außenhaut oder durch Integration in ein dort befindliches Gehäuse (beispielsweise Rückspiegel, insbesondere bei Lastkraftwagen oder Omnibussen). Durch mittels einer gezielten Auswahl, läßt sich so ein Einbauort bestimmen, welcher sich von ungünstigen von Umwelteinfüssen (Spritzwasser, Regen, Nebelniederschlag) relativ gut abschirmen läßt, so dass sich die Verschmutzung der spiegelnden Oberfläche auf ein akzeptables Maß verringern läßt.
In besonders vorteilhafter Weise umfasst die erfinderische Kameravorrichtung auch ein Mittel um Verzerrungen in der Abbildung der Objekte in den Spiegelbildern zugeordeten Bilddaten zu korrigieren. Auf diese Weise wird es möglich spiegelnde Oberflächen beliebiger Ausgestaltung zu verwenden, ohne bei der Auswahl primär auf deren Abbildungseigenschaften achten zu müssen.
Die aus dem Stand der Technik bekannten Stereokameraanordnungen in Kraftfahrzeugen sind im wesentlichen aus gestalterischen Gründen horizontal angeordnet. Demgegenüber eröffnet die neuartige Ausgestaltung der Kameraanordnung, die Möglichkeit in gewinnbringender Weise die Kamera und die spiegelnde Fläche auch unter oder übereinander anzuordnen. Dabei ist es besonders vorteilhaft die spiegelnde Oberfläche im wesentlichen senkrecht unterhalb oder oberhalb der Kamera zu planieren. Ruf diese Weise ergibt sich eine virtuelle vertikale Stereokameraanordnung, welche sich in besonderer Weise für die Detektion und Vermessung von Horizontalen von Objekten in der Umgebung eignen. Insbesondere eignet sich eine solche vertikale Anordnung zur Erkennung des Fahrraumlichtprofils (Durchfahrtshöhe).
2 zeigt beispielhaft als typisches Szenario die Bilddaten wie von der erfindungsgemäßen Kameraanordnung geliefert werden. Das Bild besteht hierbei aus einem Teil 21, welcher den direkt von den Objekten stammenden Bilddaten entspricht und dem sich unterhalb einer Spiegelebene 20 abbildenden reflektierten Abbild 22 der Objekte (je nachdem wie Kamera und Spiegel zueinander angeordnet sind, können sich die den Abbildern entsprechenden Bereiche an anderer Stelle innerhalb der Bilddaten befinden; beispielsweise Direktansicht unten und Spiegelbild oben). Für den hier dargestellten Fall, dass sich ein Kraftfahrzeug auf einer sich unter einer Brücke 24 hindurchführenden Straße 23 entlang bewegt, wird deutlich, dass zur Bestimmung des Fahrraumlichtprofils die Position der oberen waagrechten Kante 25 und der unteren waagrechten Kante 26 aus den Bilddaten möglichst exakt geschätzt werden muß. Eine ausreichend Qualität der Schätzung, mittels welcher zuverlässig die Durchfahrtshöhe bestimmt werden kann, läßt sich nur mittels einer vertikalen Stereoanordnung, welche sich durch das hier beschriebene System in idealer Weise realisieren läßt, bestimmen. Dabei ist es unwesentlich ob sich die spiegelnde Fläche oberhalb oder unterhalb der Kamera befindet. Die bisherigen aus dem Kraftfahrzeugbereich bekannten horizontalen Anordnungen der Stereokameras erfüllen die notwendigen Anforderungen nicht.
Besonders vorteilhaft läßt sich die neuartige Kameraanordnung auch mit einer bereits vorliegenden Stereobildverarbeitungssystem kombinieren. So ist es beispielsweise denkbar die bereits in einem Kraftfahrzeug vorhandene horizontal ausgerich tete Kameraanordnung, durch eine spiegelnde Fläche dergestalt zu ergänzen, dass eine Kombination aus vertikaler und horizontaler Stereoanordnung entsteht, wodurch sämtliche horizontalen und vertikalen Infrastrukturkomponenten im Straßenverkehr optimal erfaßt und vermessen werden können

Claims

Vorrichtung zur Stereobildverarbeitung im Kraftfahrzeug, welche über wenigstens eine Kamera verfügt, in deren Blickfeld sich eine spiegelnde Oberfläche befindet, wobei die spiegelnde Oberfläche so ausgerichtet ist, dass der gespiegelte Bereich mit demjenigen Bereich zumindest in Teilen überlappt, welcher durch die wenigstens eine Kamera direkt eingesehen werden kann, dadurch gekennzeichnet, dass sich die spiegelnde Oberfläche im Innenraum des Fahrzeugs befindet.
Vorrichtung zur Stereobildverarbeitung im Kraftfahrzeug, welche über wenigstens eine Kamera verfügt, in deren Blickfeld sich eine spiegelnde Oberfläche befindet, wobei die spiegelnde Oberfläche so ausgerichtet ist, dass der gespiegelte Bereich mit demjenigen Bereich zumindest in Teilen überlappt, welcher durch die wenigstens eine Kamera direkt eingesehen werden kann, dadurch gekennzeichnet, dass die Kamera und die spiegelnde Oberfläche als bauliche Einheit ausgebildet sind, welche im Innen oder im Außenbereich des Fahrzeugs integrierbar ist.
Vorrichtung nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass es sich bei der spiegelnden Oberfläche um einen Spiegel handelt, wobei dieser Spiegel vorzugsweise plan ist.
Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass der Spiegel mit der Kamera verbunden ist.
Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass ein Mittel vorgesehen ist, um die Verzerrungen in der Abbildungen der Objekte in den Spiegelbilddaten zu korrigieren.
Vorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass sich die spiegelnde Oberfläche im wesentlichen senkrecht unterhalb oder oberhalb der Kamera befindet.
Verwendung der Vorrichtung nach einem der Ansprüche 1 bis 6, zur Vermessung des Fahrraumlichtprofils.
Verwendung der Vorrichtung nach einem der Ansprüche 1 bis 6, an einem Kraftrad.