DE19932296A1 - Verfahren und Vorrichtung zur veränderten Darstellung eines Kamerabildes - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zur veränderten Darstellung eines mit Hilfe einer Kamera aufgenommenen Bildes, wobei ein Teil des Bildes mindestens eine spiegelnde Oberfläche darstellt, bei dem das technische Problem, eine veränderte Darstellung eines Kamerabildes zu gewährleisten, bei der die Darstellung von spiegelnden Oberflächen zu einem Minimum an Fehlinformationen führt, dadurch gelöst ist, daß die von der mindestens einen spiegelnden Oberfläche aufgenommene Korrekturbildfläche bestimmt wird, daß die Korrekturbildfläche der mindestens einen spiegelnden Oberfläche zumindest teilweise durch einen neuen Bildinhalt ersetzt wird und daß das veränderte Bild auf einer Darstellungsvorrichtung angezeigt wird. Die Erfindung betrifft ebenfalls eine Vorrichtung zur Durchführung des Verfahrens mit einer Kamera, einer Auswerteeinrichtung, einer Darstellungseinrichtung sowie einem Korrekturmittel.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur veränderten Darstellung eines mit Hilfe einer Kamera aufgenommenen Bildes, wobei ein Teil des Bildes mindestens eine spiegelnde Oberfläche darstellt.

Ein generelles Problem bei der Bearbeitung und Darstellung von Kamerabildern besteht darin, daß in spiegelnden Oberflächen, die Teil des aufgenommenen Kamerabildes sind, Informationen enthalten sind, die zu einer Fehlinformation oder mindestens zu einer verwir­ renden Information führen können. So kommt es beispielsweise bei Kamerabildern, die aus einem Fahrzeug heraus zur Beobachtung der Umgebung und insbesondere der umgeben­ den Verkehrssituation dienen, durch spiegelnde Oberflächen zu einer Abbildung von Gegen­ ständen bzw. anderen Fahrzeugen, durch die ein Fahrer des Fahrzeuges fehlinformiert oder irritiert wird. So kann der Fahrer durch die Fehlinformation der Auffassung sein, daß andere Fahrzeuge in direkter Umgebung des Fahrzeuges vorhanden sind, obwohl diese lediglich aufgrund einer Spiegelung auf einer Oberfläche im Bild enthalten sind. Um ein Fehlverhalten des Fahrers auszuschließen, besteht also die Notwendigkeit, bei der Bilddarstellung Fehlin­ formationen durch die Darstellung von spiegelnden Oberflächen zu minimieren.

Der vorliegenden Erfindung liegt daher das technische Problem zugrunde, eine veränderte Darstellung eines Kamerabildes zu gewährleisten, bei der die Darstellung von spiegelnden Oberflächen zu einem Minimum an Fehlinformationen führt.

Erfindungsgemäß ist gemäß einer ersten Lehre der vorliegenden Erfindung das zuvor aufge­ zeigt technische Problem durch ein Verfahren mit den Merkmalen des Anspruches 1 gelöst. Die erfindungsgemäße Bildbearbeitung erfordert es zunächst, daß die mindestens eine spie­ gelnde Oberfläche innerhalb des Kamerabildes, also die Korrekturbildfläche bestimmt wird. Weiterhin wird die Korrekturbildfläche zumindest teilweise durch einen neuen Bildinhalt er­ setzt und das so veränderte Bild wird auf einer Darstellungsvorrichtung wie bspw. einem Mo­ nitor angezeigt. Erfindungsgemäß ist daher erkannt worden, daß dann, wenn die spiegelnden Oberflächen innerhalb des Kamerabildes durch einen neuen Bildinhalt ersetzt werden, die in der spiegelnden Oberfläche ursprünglich enthaltenen Abbildungen von Gegenständen aus­ geblendet werden können, um eine eindeutigere Information einem Betrachter des Kamera­ bildes darzustellen. Somit werden Fehlverhalten des Betrachters, die durch in spiegelnden Oberflächen enthaltenen Informationen entstehen können, verhindert.

In besonders bevorzugter Weise ist die zur Aufnahme des Kamerabildes verwendete Kame­ ra mit einem Fahrzeug verbunden und mindestens eine spiegelnde Oberfläche des Fahrzeu­ ges wird durch die Kamera erfaßt. Weiterhin ist die Darstellungsvorrichtung, insbesondere der Monitor, innerhalb des Fahrzeuges angeordnet. Somit kann innerhalb der Fahrgastzelle das Kamerabild für eine Beobachtung des Umgebungsbereiches des Fahrzeuges verwendet werden. In weiter bevorzugter Weise wird die Korrekturbildfläche mit Hilfe der Konturen des Fahrzeuges bestimmt, die bei einer vorgegebenen Kameraeinstellung innerhalb des Bildes im wesentlichen unverändert bleiben. Die Konturen des Fahrzeuges, die innerhalb des Ka­ merabildes abgebildet sind, stellen feste Linien dar und umgrenzen die Lack- und/oder Glas­ oberflächen des Fahrzeuges, in denen sich die Umgebung widerspiegelt. Die so bestimmte Korrekturbildfläche wird dann mit einem neuen Bildinhalt versehen, so daß die Spiegelungen in den Oberflächen ausgeblendet werden.

In bevorzugter Weise wird die Korrekturbildfläche mit einem neutralen neuen Bildinhalt er­ setzt, beispielsweise in schwarz oder einem Grauton, so daß die spiegelnden Oberflächen vollständig aus dem Kamerabild ausgeblendet werden.

Eine weitere besonders bevorzugte Ausgestaltung des Verfahrens besteht darin, daß die Korrekturbildfläche mit einem neuen Bildinhalt ersetzt wird, der eine im wesentlichen an die reale Oberflächenfarbe angepaßte Farbtönung aufweist. Somit bekommt der Betrachter den Eindruck einer nicht spiegelnden Oberfläche, die er aufgrund der Farbe jedoch dem Fahr­ zeug zuordnet. Besonders realistisch wird die Darstellung des Kamerabildes dann, wenn zusätzlich die Farbtönung des neuen Bildinhaltes an die Lichtverhältnisse in der Umgebung des Fahrzeuges angepaßt wird. Somit wird dem Betrachter auch bei unterschiedlichen Licht­ verhältnissen ein reales Bild dargestellt, bei dem lediglich die störenden Reflexionen an den spiegelnden Oberflächen eliminiert worden sind. Daher ist die Darstellung des so veränder­ ten Kamerabildes sehr nahe an der Realität und bedarf keiner großen Eingewöhnung durch einen Betrachter. Ein Fehlverhalten, das durch spiegelnde Oberflächen und darin gespiegel­ ten Gegenständen hervorgerufen werden kann, wird somit ausgeschlossen.

Gemäß einer zweiten Lehre der vorliegenden Erfindung wird das oben aufgezeigte techni­ sche Problem auch durch eine Vorrichtung zur veränderten Darstellung eines einen Teil der Umgebung eines Fahrzeuges darstellenden Bildes mit den Merkmalen des Anspruches 9 gelöst. Neben der mit dem Fahrzeug verbundenen Kamera, der das von der Kamera aufge­ nommene Bild empfangenden Auswertevorrichtung und der Darstellungsvorrichtung ist ein Korrekturmittel vorgesehen, das die Konturen des Fahrzeuges und die vom Fahrzeug inner­ halb des aufgenommenen Bildes erzeugte Korrekturbildfläche erfaßt und zumindest teilweise durch einen neuen Bildinhalt ersetzt. Die Darstellungsvorrichtung zeigt dann das veränderte Bild innerhalb des Fahrzeuges an. Somit dient die erfindungsgemäße Vorrichtung zur Durchführung des oben beschriebenen erfindungsgemäßen Verfahrens in Anwendung bei einem Fahrzeug. Jedoch kann die Vorrichtung auch unabhängig von einem Fahrzeug zur Beobachtung einer beliebigen Szene eingesetzt werden. In jedem Fall wird mit Hilfe der Vor­ richtung erreicht, daß der Bildinhalt von spiegelnden Oberflächen innerhalb des Kamerabil­ des durch einen anderen, neutralen Bildinhalt ersetzt wird.

Es gibt verschiedene Möglichkeiten, das Korrekturmittel auszubilden. Zum einen kann das Korrekturmittel als ein ein Programm ausführender Computer ausgebildet sein. Demgegen­ über kann das Korrekturmittel auch im wesentlichen als elektronische Schaltung ausgebildet sein. Weiterhin kann das Korrekturmittel als separate Baueinheit ausgebildet oder innerhalb der Kamera, der Auswertevorrichtung oder der Darstellungsvorrichtung integriert angeordnet sein. In bevorzugter Weise ist das Korrekturmittel in der Auswerteeinrichtung enthalten, da die Bildbearbeitung hauptsächlich in dieser Einrichtung stattfindet.

In besonders bevorzugter Weise ersetzt die Darstellungseinrichtung der erfindungsgemäßen Vorrichtung einen der Außen- oder Innenspiegel des Fahrzeuges. Somit kann beispielsweise der seitliche Rückspiegel auf der Fahrerseite durch eine Kamera ersetzt werden und die Dar­ stellungsvorrichtung ist als ein Monitor in geeigneter Größe im Bereich des Armaturenbrettes auf der der Fahrertür zugewandten Seite des Lenkrades angeordnet. Somit kann der sowohl die Aerodynamik als auch die äußere Form störende Außenspiegel weggelassen werden und durch eine erheblich kleinere, gegebenenfalls in die Karosserie integrierte Kamera er­ setzt werden. Ebenso ist es möglich, den am oberen Rand der Windschutzscheibe innen angeordneten Innenspiegel wegzulassen und statt dessen durch einen Monitor mit entspre­ chender Größe zu ersetzen. Der Monitor kann darüber hinaus auch im Bereich des Armatu­ renbrettes installiert sein, so daß das Sichtfeld des Fahrers nicht mehr durch den Innenspie­ gel eingeschränkt wird.

In jedem Fall wird erreicht, daß der Fahrer durch das Ausbienden von spiegelnden Oberflä­ chen und die Darstellung mit verändertem Bildinhalt ein Kamerabild mit einem eindeutigeren Informationsinhalt angezeigt bekommt.

Im folgenden wird die Erfindung anhand eines Ausführungsbeispieles näher erläutert, wobei die einzige Figur ein Blockschaltbild darstellt, das die Komponenten der erfindungsgemäßen Vorrichtung zur veränderten Darstellung eines einen Teil der Umgebung eines Fahrzeuges darstellenden Bildes zeigt.

Die erfindungsgemäße Vorrichtung zur veränderten Darstellung eines Kamerabildes weist eine Kamera 1, eine Auswertevorrichtung 2, eine Darstellungsvorrichtung 3 und ein Korrek­ turmittel 4 auf, die in folgender Weise zusammenwirken. Die Kamera 1 ist im vorliegenden Ausführungsbeispiel mit einem Fahrzeug verbunden und nimmt ein einen Teil der Umgebung des Fahrzeuges darstellendes Bild auf. Die in der Regel digitalisierten Daten des aufgenom­ menen Bildes werden von der Kamera 1 auf die Auswerteeinrichtung 2 übertragen. In der Auswerteeinrichtung 2 wird das Bild ausgewertet und gegebenenfalls überarbeitet, das heißt, daß die Bildinhalte für eine geeignete Darstellung des Kamerabildes auf der Darstellungsvor­ richtung verändert werden.

Im dargestellten Ausführungsbeispiel werden die Bilddaten von der Kamera 1 parallel auch auf das Korrekturmittel 4 übertragen, das vorliegend als separate Baueinheit ausgebildet ist. In dieser Baueinheit kann einerseits ein Computer enthalten sein, auf dem ein Programm abläuft, das die wesentlichen Funktionen des Korrekturmittels 4 verwirklicht. Ebenso kann das Korrekturmittel 4 in der separaten Baueinheit als feste elektronische Schaltung ausgebil­ det sein, wodurch die zu bewältigende Bildauswertefunktion mit höherer Geschwindigkeit ausführbar ist.

Das Korrekturmittel 4 wertet die Daten des Kamerabildes in folgender Weise aus. Zunächst werden die Bereiche des Kamerabildes bestimmt, die nachfolgend korrigiert werden sollen. Dieser Teil des Kamerabildes wird als Korrekturbildfläche bezeichnet. Im wesentlichen ent­ hält die Korrekturbildfläche innerhalb des Kamerabildes die Darstellung von einer oder meh­ reren spiegelnden Oberflächen des Fahrzeuges oder auch einer spiegelnden Oberfläche in der Umgebung des Fahrzeuges. Nachdem die Korrekturbildfläche bestimmt worden ist, be­ rechnet das Korrekturmittel 4 den neuen Bildinhalt der Korrekturbildfläche, so daß die ur­ sprünglich gespiegelt wiedergegebenen Gegenstände in der Korrekturbildfläche ausgeblen­ det werden können. Die Informationen zur Veränderung des Kamerabildes werden dann vom Korrekturmittel 4 auf die Auswerteeinrichtung 2 übertragen. Dort findet die Veränderung des Bildes statt, das dann auf der Darstellungsvorrichtung 3 dargestellt wird. Der Benutzer kann somit ein Bild erkennen, das von möglicherweise Fehler hervorrufenden verwirrenden Infor­ mationen befreit ist.

Bei dem vorliegenden Ausführungsbeispiel ist die Kamera 1 mit dem Fahrzeug verbunden, so daß die vom Fahrzeug hervorgerufenen spiegelnden Oberflächen mit Hilfe der Konturen des Fahrzeuges bestimmt werden können. Denn bei einer vorgegebenen Kameraeinstellung stellen die Konturen des Fahrzeuges im wesentlichen Konstante Linien innerhalb des Kame­ rabildes dar, so daß diese mit einem geeigneten Auswerteverfahren innerhalb des Bildes bestimmt werden können. Aus den Konturen des Fahrzeuges ergibt sich dann die Korrektur­ bildfläche. Für eine vorgegebene Kameraposition und darüber hinaus auch für verschiedene Einstellungen wie Blickrichtung und Brennweite der Kamera können die Konturen des Fahr­ zeuges fest vorgegeben, insbesondere im Korrekturmittel 4 abgespeichert sein. In diesem Fall brauchen die Konturen des Fahrzeuges nicht bestimmt werden, wodurch das erfin­ dungsgemäße Verfahren beschleunigt wird.

Wahlweise kann das Korrekturmittel 4 die Korrekturbildfläche mit einem neutralen neuen Bildinhalt oder mit einem neuen Bildinhalt ersetzen, der eine im wesentlichen an die reale Oberflächenfarbe angepaßte Farbtönung aufweist. Somit wird die spiegelnde Oberfläche entweder ausgeblendet und neutralisiert oder das veränderte Bild wird an die Realität ange­ paßt, so daß nur die Spiegelungen, nicht jedoch die Oberflächen selbst aus dem Bild ausge­ blendet werden. Dazu wird in besonders bevorzugter Weise die Farbtönung des neuen Bil­ dinhaltes der Korrekturbildfläche an die Lichtverhältnisse in der Umgebung des Fahrzeuges angepaßt.

Sofern das Korrekturmittel 4 auch spiegelnde Oberflächen in der Umgebung des Fahrzeuges erfassen soll, so werden zur Durchführung des Verfahrens zur veränderten Darstellung des Kamerabildes Erfahrungswerte verwendet, die beispielsweise darin bestehen, daß bestimmte Gegenstände eine bestimmte Form aufweisen müssen und bei einer spiegelnden, nicht ebe­ nen Oberfläche verfremdet dargestellt werden. Eine Vielzahl von entsprechenden Plausibili­ tätserwägungen können dem Auswerteverfahren zugrunde gelegt werden, so daß beispiels­ weise die spiegelnden Oberflächen an benachbarten Fahrzeugen oder Häuserwänden durch das erfindungsgemäße Verfahren ausgeblendet werden können.

Das in der Figur dargestellte Ausführungsbeispiel zeigt das Korrekturmittel 4 als separates Bauteil. Darüber hinaus ist es auch möglich, das Korrekturmittel 4 in der Kamera 1 in der Auswertevorrichtung 2 oder in der Darstellungsvorrichtung 3 anzuordnen, wodurch eine in höherem Maße integrale Ausbildung der vorliegenden erfindungsgemäßen Vorrichtung er­ reicht wird. Insbesondere ist es vorteilhaft, das Korrekturmittel 4 in der Auswertevorrichtung 2 anzuordnen und gegebenenfalls in die übrige Bildauswertung und -veränderung zu integrie­ ren.

Claims (14)

1. Verfahren zur veränderten Darstellung eines mit Hilfe einer Kamera aufgenommenen Bildes, wobei ein Teil des Bildes mindestens eine spiegelnde Oberfläche darstellt,

• - bei dem die von der mindestens einen spiegelnden Oberfläche eingenommene Kor­ rekturbildfläche bestimmt wird,
• - bei dem die Korrekturbildfläche der mindestens einen spiegelnden Oberfläche zumin­ dest teilweise durch einen neuen Bildinhalt ersetzt wird und
• - bei dem das veränderte Bild auf einer Darstellungsvorrichtung angezeigt wird.

2. Verfahren nach Anspruch 1, bei dem die Kamera mit einem Fahrzeug verbunden ist und mindestens eine spiegelnde Oberfläche des Fahrzeuges erfaßt und bei dem die Darstellungsvorrichtung innerhalb des Fahrzeuges angeordnet wird.

3. Verfahren nach Anspruch 2, bei dem mit Hilfe der Konturen des Fahrzeuges die Kor­ rekturbildfläche bestimmt wird.

4. Verfahren nach Anspruch 3, bei dem die Positionen der Konturen des Fahrzeuges innerhalb des Bildes im wesentlichen unverändert bleiben.

5. Verfahren nach Anspruch 3 oder 4, bei dem für verschiedene Einstellungen der Ka­ mera in Bezug auf Ausrichtung und Brennweite vorbekannte Konturen des Fahrzeu­ ges verwendet werden.

6. Verfahren nach einem der Ansprüche 1 bis 5, bei dem die Korrekturbildfläche aus dem Bild ausgeblendet, insbesondere mit einem neutralen neuen Bildinhalt ersetzt wird.

7. Verfahren nach einem der Ansprüche 1 bis 5, bei dem die Korrekturbildfläche mit ei­ nem neuen Bildinhalt ersetzt wird, der eine im wesentlichen an die reale Oberflä­ chenfarbe angepaßte Farbtönung aufweist.

8. Verfahren nach Anspruch 7, bei dem die Farbtönung des neuen Bildinhaltes an die Lichtverhältnisse in der Umgebung des Fahrzeuges angepaßt ist.

9. Vorrichtung zur veränderten Darstellung eines einen Teil der Umgebung eines Fahr­ zeuges darstellendes Bildes,

• - mit einer mit dem Fahrzeug verbundenen Kamera (1),
• - mit einer das von der Kamera (1) aufgenommene Bild empfangenden Auswertevor­ richtung (2),
• - mit einer Darstellungsvorrichtung (3) zur Darstellung des von der Auswertevorrichtung (2) übermittelten Bildes und
• - mit einem Korrekturmittel (4), das die Konturen des Fahrzeuges und die vom Fahr­ zeug innerhalb des aufgenommenen Bildes erzeugte Korrekturbildfläche erfaßt und zumindest teilweise die Korrekturbildfläche durch einen neuen Bildinhalt ersetzt,
• - wobei die Darstellungsvorrichtung (3) das veränderte Bild innerhalb des Fahrzeuges anzeigt.

10. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß das Korrekturmittel (4) im wesentlichen als ein Programm ausführender Computer ausgebildet ist.

11. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß das Korrekturmittel (4) im wesentlichen als elektronische Schaltung ausgebildet ist.

12. Vorrichtung nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, daß das Korrekturmittel (4) als separate Baueinheit ausgebildet ist.

13. Vorrichtung nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, daß das Korrekturmittel (4)in der Kamera (1), in der Auswertevorrichtung (2) oder in der Dar­ stellungsvorrichtung (3) angeordnet ist.

14. Vorrichtung nach einem der Ansprüche 9 bis 13, dadurch gekennzeichnet, daß die Darstellungseinrichtung (3) einen der Außen- oder Innenspiegel des Fahrzeuges er­ setzt.