DE102016117518A1

DE102016117518A1 - Angepasstes Zusammenfügen von Einzelbildern zu einem Gesamtbild in einem Kamerasystem für ein Kraftfahrzeug

Info

Publication number: DE102016117518A1
Application number: DE102016117518.8A
Authority: DE
Inventors: Huanqing Guo
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2016-09-16
Filing date: 2016-09-16
Publication date: 2018-03-22

Abstract

Die Erfindung betrifft Verfahren zum Betreiben einer Kameraeinrichtung (2) mit zumindest einer ersten und einer zweiten Kamera (3a, 3b) für ein Kraftfahrzeug (1), mit einem Erfassen einer ersten Bildinformation eines ersten Umgebungsbereiches (11a) des Kraftfahrzeugs (1) durch die erste Kamera (3a), mit einem Erfassen einer zweiten Bildinformation eines zweiten Umgebungsbereiches (11b) des Kraftfahrzeugs (1) durch die zweite Kamera (3b), wobei der zweite Umgebungsbereich (11b) teilweise mit dem ersten Umgebungsbereich (11a) in einem Überlappungsbereich (12a) überlappt, mit einem Zusammenfügen der ersten und der zweiten Bildinformation zu einem Gesamtbild (13), durch eine Recheneinrichtung (4), wobei das Gesamtbild (13) in einem ersten Bildteil (12a‘-1), welcher einen ersten Teil des Überlappungsbereiches (12a) darstellt, der ersten Bildinformation entspricht und in einem zweiten Bildteil (12a‘-2), welcher einen zweiten Teil des Überlappungsbereiches (12a) darstellt, der zweiten Bildinformation entspricht und zwischen dem ersten und dem zweiten Bildteil (12a‘-1, 12a‘-2) in dem Gesamtbild (13) ein Übergangsbereich (15a) vorgegeben wird, wobei der Übergangsbereich (15a) in Abhängigkeit von zumindest einem in dem Überlappungsbereich (12a) durch die Recheneinrichtung (4) erkannten Objekt (14a, 14a’, 14b, 14b’) vorgegeben wird, um einen durch die Kameraeinrichtung (2) des Kraftfahrzeugs (1) erzielbaren Überblick über eine Umgebung des Kraftfahrzeugs (1) zu verbessern. Die Erfindung betrifft auch eine entsprechende Kameraeinrichtung (2).

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer Kameraeinrichtung mit zumindest einer ersten und einer zweiten Kamera für ein Kraftfahrzeug. Die Erfindung betrifft auch eine Kameraeinrichtung für ein Kraftfahrzeug, mit einer ersten und einer zweiten Kamera zum Erfassen einer ersten beziehungsweise zweiten Bildinformation eines ersten beziehungsweise zweiten Umgebungsbereichs des Kraftfahrzeugs, wobei der zweite Umgebungsbereich in einem Überlappungsbereich teilweise mit dem ersten Umgebungsbereich überlappt, sowie mit einer Recheneinrichtung zum Zusammenfügen der ersten und der zweiten Bildinformation zu einem Gesamtbild, wobei das Gesamtbild in einem ersten Bildteil, welcher einen ersten Teil des Überlappungsbereichs darstellt, der ersten Bildinformation entspricht und in einem zweiten Bildteil, welcher einen zweiten Teil des Überlappungsbereichs darstellt, der zweiten Bildinformation entspricht, und zwischen dem ersten und dem zweiten Bildteil in dem Gesamtbild ein Übergangsbereich vorgegeben ist.
In Kraftfahrzeugen kommen oftmals Kameraeinrichtungen oder Kamerasysteme zum Einsatz, welche mehrere Kameras, beispielsweise zwei oder mehr Kameras aufweisen. Die Kameras erfassen dabei typischerweise in einem den Kameras zugeordneten Erfassungsbereich jeweilige Umgebungsbereiche des Kraftfahrzeugs. Die einzelnen erfassten Umgebungsbereiche können dabei auf einer Anzeigeeinrichtung wie einem Display oder einem Bildschirm zusammengefügt werden, sodass ein Betrachter, beispielsweise ein Fahrer des Kraftfahrzeugs, auf einen Blick eine umfassende Information über die Umgebung des Kraftfahrzeugs erhält. Zu diesem Zweck werden die Einzelbilder oder einzelnen Bildinformationen der jeweiligen Kameras zusammengefügt, um ein integriertes Bild oder Gesamtbild zu erhalten. Dieses Zusammenfügen kann auf viele verschieden Weisen realisiert werden, ein den verschiedenen Weisen gemeinsames Problem stellt sich jedoch dadurch, dass es in der Umgebung des Kraftfahrzeugs Bereiche gibt, welche zugleich von unterschiedlichen Kameras erfasst werden. Entsprechend liegt für ein Objekt, welches in einem solchen Bereich oder Überlappungsbereich in der Umgebung des Kraftfahrzeugs vorhanden ist, Bildinformationen aus unterschiedlichen Perspektiven vor. Ein solches Objekt kann bei dem Zusammenfügen der Einzelbilder zu Artefakten in dem Gesamtbild führen.
Eine Möglichkeit das Zusammenfügen zu realisieren, ist in dem Gesamtbild eine feste Grenze vorzugeben, welche die Bildteile des Gesamtbildes, welche einer Kamera entstammen, das heißt nur einer Bildinformation der einen Kamera entsprechen, von den Bildteilen des Gesamtbildes, welche einer anderen Kamera entstammen, das heißt nur einer Bildinformation der anderen Kamera entsprechen, trennt. Die Grenze kann hier beispielsweise durch eine Linie markiert werden. Daraus ergibt sich jedoch das Problem, dass an der genannten Grenze eine Diskontinuität in dem gezeigten Inhalt auf dem Gesamtbild erzeugt wird und ein Objekt nahe der Grenze möglicherweise in beiden Bildteilen dargestellt wird.
Eine weitere Möglichkeit besteht darin, zwischen dem einen Bildteil und dem anderen Bildteil in dem Gesamtbild einen Übergangsbereich zu bestimmen, in welchem die Einzelbilder miteinander überlagert werden, also fließend ineinander übergehen. Es wird somit eine weiche Grenze zwischen dem einen Bildteil und dem anderen Bildteil realisiert. Diese ist für einen Betrachter weniger störend als die im letzten Absatz genannte „harte“ Grenze zwischen den Bildteilen. Allerdings entstehen auch hier störende Artefakte, welche einen Betrachter irritieren und einen Überblick über die Umgebung des Kraftfahrzeugs beeinträchtigen.
In diesem Zusammenhang offenbart die US 2002/0017985 A1 ein Bildsystem für ein Fahrzeug, bei welchem unterschiedliche Bilder zu einem gleichzeitig auf einem Bildschirm dargestellten Gesamtbild zusammengefügt werden. Ein Überlappungsbereich verschiedener Kameras wird dabei in Abhängigkeit einer Geschwindigkeit des Fahrzeugs eingestellt.
Es ist Aufgabe der vorliegenden Erfindung, einen durch eine Kameraeinrichtung eines Kraftfahrzeugs erzielbaren Überblick über eine Umgebung des Kraftfahrzeugs zu verbessern.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Patentansprüchen, der Beschreibung und den Figuren.
Die Erfindung betrifft ein Verfahren zum Betreiben einer Kameraeinrichtung mit zumindest einer ersten Kamera und einer zweiten Kamera für ein Kraftfahrzeug. Die Kameraeinrichtung kann dabei Teil eines Fahrerassistenzsystems sein oder mit einem Fahrerassistenzsystem gekoppelt sein. Ein erster Schritt ist hier ein Erfassen einer ersten Bildinformation oder eines ersten Einzelbildes eines ersten Umgebungsbereiches des Kraftfahrzeugs durch die erste Kamera. Ein Erfassen einer zweiten Bildinformation oder eines zweiten Einzelbildes eines zweiten Umgebungsbereiches des Kraftfahrzeugs durch die zweite Kamera ist ebenfalls ein Schritt des Verfahrens. Dabei überlappt der zweite Umgebungsbereich in einem Überlappungsbereich teilweise mit dem ersten Umgebungsbereich. Damit die Umgebung des Kraftfahrzeugs in dem Überlappungsbereich sowohl durch die erste als auch durch die zweite Bildinformation repräsentiert. Ein Objekt in dem Überlappungsbereich ist daher in der ersten und in der zweiten Bildinformation repräsentiert. Ein Objekt in dem Überlappungsbereich kann dabei durch die unterschiedlichen Blickwinkel der beiden Kameras jedoch in den beiden Bildinformationen unterschiedlich repräsentiert sein beziehungsweise in den beiden Einzelbildern unterschiedlich dargestellt sein.
Ein darauffolgender Schritt ist ein Zusammenfügen der ersten und der zweiten Bildinformation oder des ersten und des zweiten Einzelbildes zu einem Gesamtbild, welches den ersten und den zweiten Umgebungsbereich repräsentiert, durch eine Recheneinrichtung der Kameraeinrichtung. Dabei entspricht das Gesamtbild in einem ersten Bildteil, welcher einen ersten Teil des Überlappungsbereiches darstellt, der ersten Bildinformation beziehungsweise dem ersten Einzelbild, und in einem zweiten Bildteil, welcher einen zweiten Teil des Überlappungsbereiches darstellt, der zweiten Bildinformation oder dem zweiten Einzelbild. Zwischen dem ersten und dem zweiten Bildteil ist dabei in dem Gesamtbild ein Übergangsbereich vorgegeben. Dieser Übergangsbereich wird auch als sogenannte „merging area“ bezeichnet, da im Übergangsbereich die beiden Bildinformationen überlagert oder zusammengfeführt, also „merged“ werden können. Der Übergangsbereich kann die Form einer Fläche und/oder die Form einer Linie einnehmen. Ein weiterer Schritt kann hier ein Anzeigen des Gesamtbildes auf einer Anzeigeeinrichtung sein. Die genannten Verfahrensschritte können insbesondere auch wiederholt oder fortlaufend durchgeführt werden. Damit kann eine Sequenz von Gesamtbildern als Video oder Videofilm erzeugt werden. Entsprechend kann es sich bei dem beschriebenen Gesamtbild um ein Film-Einzelbild eines Videos oder Videofilms handeln. Derartige Film-Einzelbilder sind auch als sogenannte „frames“ eines Films bekannt. Die im Folgenden beschriebenen vorteilhaften Ausführungsformen können sich daher auch auf ein jeweiliges Video mit einer Mehrzahl von jeweiligen Gesamtbildern als Film-Einzelbilder oder Frames beziehen.
Wichtig ist hier, dass der Übergangsbereich durch die Recheneinrichtung in Abhängigkeit von zumindest einem in dem Überlappungsbereich durch die Recheneinrichtung erkannten Objekt vorgegeben wird. Bei dem Objekt kann es sich insbesondere um ein erhabenes Objekt wie einen Fußgänger handeln, welches sich von einem flachen Boden in einer Umgebung des Kraftfahrzeugs abhebt. Der Übergangsbereich kann auch in Abhängigkeit von mehreren in dem Überlappungsbereich erkannten Objekten vorgegeben werden. Das zumindest eine Objekt kann durch die Recheneinrichtung beispielsweise durch einen geeigneten Bilderkennungs-Algorithmus erkannt werden, welcher die erste und/oder die zweite Bildinformation beziehungsweise das erste oder das zweite Einzelbild analysiert.
Das Objekt kann durch die Recheneinrichtung insbesondere auch mittels einer Information von einer weiteren Sensoreinrichtung des Kraftfahrzeugs erkannt werden. So kann beispielsweise eine Information einer Ultraschallsensoreinrichtung, insbesondere eine Abstandsinformation einer Ultraschallsensoreinrichtung, an die Recheneinrichtung bereitgestellt werden. Diese Information kann bei einem Erkennen des Objektes durch die Recheneinrichtung genutzt werden. Insbesondere kann der Überlappungsbereich in Abhängigkeit der Position und/oder der Größe des erkannten Objektes vorgegeben werden. Bei dem Objekt kann es sich um ein fahrzeugnahes Objekt handeln, also ein Objekt, welches weniger als 10 Meter, bevorzugt weniger als 5 Meter, von dem Kraftfahrzeug entfernt ist. Der Übergangsbereich kann in seiner Lage und/oder seiner Größe und/oder seiner Form vorgegeben werden.
Der Erfindung liegt somit die Erkenntnis zugrunde, dass ein Objekt im Überlappungsbereich an der Grenze der beiden Einzelbilder beziehungsweise in dem Übergangsbereich wesentlich störendere Artefakte erzeugt als andere Effekte in dem zusammengefügten Gesamtbild. Daher zielt die Erfindung darauf ab, vorrangig die durch Objekte in dem Überlappungsbereich verursachten Artefakte und Verwerfungen zu reduzieren beziehungsweise verschwinden zu lassen. Das Vorgeben des Übergangsbereiches in Abhängigkeit des erkannten Objektes ist somit die Grundlage für eine verbesserte visuelle Qualität des zusammengefügten Gesamtbildes, da somit der Übergangsbereich an eine vorliegende Situation angepasst werden kann und durch ein oder mehrere Objekte in dem Überlappungsbereich verursachte Verwerfungen und Artefakte im Gesamtbild reduziert oder eliminiert werden können. Damit wird für einen Betrachter des Gesamtbildes ein verbesserter Überblick über die Umgebung des Kraftfahrzeugs realisiert.
In einer bevorzugten Ausführungsform ist vorgesehen, dass das Gesamtbild in dem Übergangsbereich, beispielsweise in dem gesamten Übergangsbereich oder in einem Teil des Übergangsbereiches, einer Überlagerung der ersten und der zweiten Bildinformation beziehungsweise des ersten und des zweiten Einzelbildes entspricht. Es kann somit ein besonders weicher oder fließender Übergang zwischen dem ersten und dem zweiten Bildteil des Gesamtbildes realisiert werden. Entspricht nur ein Teil des Übergangsbereiches einer Überlagerung der ersten und der zweiten Bildinformation und ist beispielsweise ein weiterer Teil des Übergangsbereiches in Form einer Linie ausgebildet, so kann, beispielswiese wenn Objekte in dem Überlappungsbereich nah beieinander stehen, auf besonders flexible Weise verhindert werden, dass die Objekte zu Artefakten im Gesamtbild führen und dabei immer noch in dem einen Teil des Übergangsbereiches der eingangs erwähnte harte Übergang vermieden werden. Damit kann ein besonders natürlicher Eindruck des Gesamtbildes erreicht werden, wodurch eine unnötige Ablenkung des Betrachters durch Artefakte vermieden werden beziehungsweise eine unnötige Bindung mentaler Ressourcen des Betrachters durch eine gedankliche Korrektur der dargestellten Artefakte vermieden werden. Damit wird nochmals ein verbesserter Überblick über die Umgebung des Kraftfahrzeugs erreicht.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass der Übergangsbereich derart vorgegeben oder festgelegt wird, dass sich das zumindest eine erkannte Objekt auf dem Gesamtbild außerhalb des Übergangsbereichs befindet. Bei mehreren erkannten Objekten wird der Übergangsbereich bevorzugt derart vorgegeben, dass sich möglichst viele, bevorzugt alle erkannten Objekte auf dem Gesamtbild außerhalb des Übergangsbereiches befinden. Bevorzugt wird der Übergangsbereich so vorgegeben, dass er nur einen Boden in der Umgebung des Kraftfahrzeugs repräsentiert und in dem von ihm repräsentierten Umgebungsbereich des Kraftfahrzeugs keine erhabenen Objekte vorhanden sind. Das hat den Vorteil, dass die durch die verschiedenen Perspektiven der beiden Kameras bedingten Artefakte nicht auftreten, da die jeweiligen Objekte in dem Gesamtbild stets ausschließlich durch die erste Bildinformation oder die zweite Bildinformation und somit in eindeutiger Weise repräsentiert werden. Die Problematik, dass ein Objekt in dem Gesamtbild teilweise aus der einen und teilweise aus der anderen Perspektive dargestellt wird, ist somit behoben oder zumindest entschärft. Auch hiermit wird ein besonders natürlich wirkendes Gesamtbild erreicht, in welchem in der realen Welt unmögliche und somit irritierende Knicke und Verzerrungen in Objekten reduziert oder vermieden werden. Es wird somit auch hier ein verbesserter Überblick über die Umgebung des Kraftfahrzeugs realisiert.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass der Übergangsbereich durch eine (bevorzugt virtuelle) Übergangslinie, welche auf dem Gesamtbild nicht durch das zumindest eine erkannte Objekt beziehungsweise bevorzugt durch keines der erkannten Objekte verläuft, in zwei Teile geteilt wird. Insbesondere ist die Übergangslinie dabei eine gerade Übergangslinie oder eine im Wesentlichen gerade Übergangslinie. Insbesondere wird in oder auf der Übergangslinie die erste und die zweite Bildinformation beziehungsweise das erste und das zweite Einzelbild zu gleichen Teilen, also mit einem jeweils gleichen Gewicht oder einer gleichen Wichtung miteinander überlagert. In oder auf der Übergangslinie kann somit ein Bildpixel des Gesamtbildes zu gleichen Teilen durch die erste und durch die zweite Bildinformation bestimmt sein. Damit kann auf besonders einfache Weise in dem Gesamtbild ein fließender Übergang zwischen dem ersten Bildteil und dem zweiten Bildteil realisiert werden, bei welchem Artefakte durch Objekte in dem Überlappungsbereich minimiert werden.
Beispielsweise kann so auf einfache Weise ein linearer Übergang zwischen dem ersten und dem zweiten Bildteil realisiert werden, bei welchem Verzerrungen oder andere Artefakte durch die Objekte in dem Überlappungsbereich weitgehend verschwinden. Ein linearer Übergang zwischen dem ersten und dem zweiten Bildteil kann zum Beispiel auf einfache Weise durch die Vorschrift P_gesamt = α·P₁ + (1 – α)P₂ realisiert werden. P_gesamt beschreibt dabei ein (Bild-)Pixel oder einen Bildpunkt im Gesamtbild, P₁ und P₂ ein jeweiliges (Bild-)Pixel oder Bildpunkt der ersten beziehungsweise der zweiten Bildinformation. Über den Wichtungsfaktor oder das Gewicht α wird nun festgelegt, von welchem Bildpunkt P₁ beziehungsweise P₂ der ersten beziehungsweise zweiten Bildinformation der Bildpunkt P_gesamt im Gesamtbild in welchem Ausmaß bestimmt wird. So wird sinnvollerweise für Bildpunkte P_gesamt, welche zwischen der Übergangslinie und dem ersten Bildbereich liegen α zum ersten Bildteil hin bis zu dem Wert 1 zunehmen. Für Bildpunkte P_gesamt im Übergangsbereich zwischen der Übergangslinie und dem zweiten Bildteil wird jedoch das Gewicht α bis zu dem Wert 0 abnehmen. Somit kann auf eine einfache Weise, welche wenig Rechenkapazitäten bindet, im Gesamtbild ein fließender Übergang zwischen dem ersten Bildteil und dem zweiten Bildteil realisiert werden und zugleich ein artefaktfreier oder artefaktarmer Überblick über die Umgebung des Fahrzeugs bereitgestellt werden.
Besonders bevorzugt ist dabei vorgesehen, dass die Übergangslinie derart vorgegeben oder festgelegt wird, dass zusätzlich zu der Bedingung, welche im letzten Absatz genannt ist, eine Abweichung zwischen der Übergangslinie und einer optimalen Übergangslinie minimiert wird. Dabei ist die optimale Übergangslinie durch die Menge aller Punkte in dem Überlappungsbereich definiert, welche durch die erste und die zweite Kamera in der ersten und in der zweiten Bildinformation eine identische Bildvergrößerung erfahren. Die Bildvergrößerung wird dabei für einen Punkt in der Umgebung des Kraftfahrzeugs durch die optischen Eigenschaften der in den jeweiligen Kameras verwendeten Linsen und eine Einbaulage der jeweiligen Kamera bestimmt. Die Menge aller Punkte, welche eine identische Bildvergrößerung erfahren, ist dabei vorliegend für den Boden oder für ein sich auf dem Boden befindendes flaches Objekt, beispielsweise für eine Straßenmarkierung, definiert, da für dreidimensionale Objekte, welche erhaben sind, eine optimale Übergangslinie im genannten Sinne nicht ohne weiteres bestimmbar ist. Die Übergangslinie kann eine die Fahrzeuglängsachse des Kraftfahrzeugs beispielsweise unter einen Winkel schneiden, welcher zwischen 30 und 50 Grad beträgt. Das hat den Vorteil, dass sich die beiden Bildinformationen ohne Größenverzerrungen oder nur mit den geringstmöglichen Größenverzerrungen und damit besonders natürlich zu dem Gesamtbild zusammenfügen lassen. Damit werden die bisher erwähnten Vorteile nochmals verstärkt.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das Gesamtbild den ersten und den zweiten Umgebungsbereich aus einer Vogelperspektive zeigt oder das Gesamtbild den ersten und den zweiten Umgebungsbereich sowie das Kraftfahrzeug aus einer perspektivischen Außenansicht, die auch als „bowl view“ bezeichnet wird, zeigt. In letzterem Fall kann beispielsweise das Kraftfahrzeug und die Umgebung des Kraftfahrzeugs von schräg oben außerhalb des Kraftfahrzeugs aus der Perspektive einer virtuellen Kamera dargestellt werden. Die virtuelle Kamera kann eine beliebige vorgebbare Position außerhalb des Kraftfahrzeugs einnehmen. Die Darstellung des Kraftfahrzeugs selber kann dabei beispielsweise durch ein Modellbild realisiert werden, da das Kraftfahrzeug selber üblicherweise außerhalb des Erfassungsbereichs von kraftfahrzeuginternen Kameras liegt. Das hat den Vorteil, dass ein besonders guter Überblick über eine Umgebung des Kraftfahrzeugs erreicht wird, bei welchem die Relativbezüge zwischen dem Kraftfahrzeugs und einem Objekt in der Umgebung des Kraftfahrzeugs besonders übersichtlich wiedergegeben werden.
In einer weiteren, besonders vorteilhaften Ausführungsform ist vorgesehen, dass der Übergangsbereich und/oder die Übergangslinie dynamisch vorgegeben oder festgelegt wird. Insbesondere kann der Übergangsbereich und/oder die Übergangslinie also fortlaufend neu vorgegeben werden. Insbesondere kann der Übergangsbereich und/oder die Übergangslinie bei einer Vielzahl von Gesamtbildern für jedes der Gesamtbilder dynamisch vorgegeben werden. Der Übergangsbereich und/oder die Übergangslinie kann damit insbesondere bei einer Abfolge von Gesamtbildern, also beispielsweise in einem Video, für jedes der Gesamtbilder, also beispielsweise jedes Einzel-Filmbild (frame), einzeln oder getrennt, und damit (beispielsweise für den Film) dynamisch, vorgegeben werden. Bevorzugt kann der Übergangsbereich und/oder die Übergangslinie jeweils neu vorgegeben werden, wenn eine Bewegung des Kraftfahrzeugs oder eine Bewegung des erkannten Objektes detektiert oder erfasst wird. Das hat den Vorteil, dass das Gesamtbild jeweils in einer augenblicklichen Situation optimal zusammengefügt werden kann in dem Sinne, dass auch bei einem dynamischen Umfeld oder einem sich bewegenden Kraftfahrzeug Artefakte und Verzerrungen vermieden werden.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass für die Überlagerung der ersten und der zweiten Bildinformation in dem Übergangsbereich für jedes Pixel in dem Übergangsbereich in der Recheneinrichtung eine Wichtung oder ein Gewicht der zugehörigen, jeweils zu überlagernden Pixel der ersten und der zweiten Bildinformation in einer vorbestimmten Tabelle hinterlegt ist. Insbesondere kann in der Tabelle jeweils für jedes Pixel des Gesamtbildes in dem Übergangsbereich ein Wichtungswert oder Gewicht hinterlegt sein. Dieses kann beispielsweise in dem oben beschriebenen Beispiel des linearen Übergangs zwischen dem ersten und dem zweiten Bildteil das Gewicht α sein. Das hat den Vorteil, dass ein Rechenaufwand für das Zusammenfügen des Gesamtbildes minimiert wird, da in diesem Fall nur eine simple Multiplikation für jeden Bildpunkt durchgeführt werden muss und keine komplexeren Auswertungsschritte erforderlich sind. Zugleich erlaubt diese Architektur auch ein dynamisches Anpassen des Übergangsbereiches an erkannte Objekte, nämlich in den im folgenden Absatz beschriebenen Ausführungsformen.
Es kann in einer besonders bevorzugten Ausführungsform vorgesehen sein, dass in der Recheneinrichtung mehrere vorbestimmte Tabellen hinterlegt sind, welche jeweils einem unterschiedlich gestalteten Übergangsbereichen zugeordnet sind. Damit kann über ein Auswählen der Tabelle ein jeweils unterschiedlicher Übergangsbereich vorgegeben werden. In den Tabellen sind jeweils unterschiedliche Wichtungswerte oder Gewichte hinterlegt, sodass nach Wahl der Tabelle für ein vorgegebenes Pixel in dem Gesamtbild die zu überlagernden Pixel der ersten und der zweiten Bildinformation unterschiedlich berücksichtigt beziehungsweise kombiniert werden. Somit kann auf einfache Weise Position und/oder Orientierung und/oder Größe und/oder Form des Übergangsbereiches durch die Auswahl der Tabelle vorgegeben werden beziehungsweise ein vorgegebener Übergangsbereich realisiert werden, ohne dass hierfür jeweils neue komplexe Berechnungen erforderlich wären. Vielmehr könne die entsprechenden Gewichte oder Wichtungen in den Tabellen vorab berechnet werden. Das hat den Vorteil, dass mit geringem Rechenaufwand eine dynamische Anpassung des Übergangsbereiches realisiert werden kann.
In einer alternativen Ausführungsform ist vorgesehen, dass für die Überlagerung der ersten und der zweiten Bildinformation in dem Übergangsbereich für jedes Pixel in dem Übergangsbereich in der Recheneinrichtung eine Wichtung oder ein Gewicht der zugehörigen jeweils überlagernden Pixel der ersten und der zweiten Bildinformation gemäß einer in der Recheneinrichtung hinterlegten Rechenvorschrift berechnet wird. Das hat den Vorteil, dass so besonders flexibel in einer Vielzahl von unterschiedlichen Szenarien jeweils der bestmögliche Übergangsbereich ausgewählt werden kann. Damit ist Position und/oder Orientierung und/oder Größe und/oder Form des Übergangsbereiches nicht an vorab erfolgte Berechnungen gebunden, sondern kann über die hinterlegte Rechenvorschrift in einer verallgemeinerten Form bereitgehalten werden. Damit wird ein besonders übersichtliches und artefaktarmes Gesamtbild erzielt.
In einer anderen vorteilhaften Ausführungsform ist vorgesehen, dass der Übergangsbereich in seiner Position und/oder Orientierung und/oder Größe und/oder Form vorgegeben wird. So kann beispielsweise für den Übergangsbereich die Form einer Ellipse vorgegeben werden. Dies kann sich in dem Gesamtbild mit ihrer Hauptachse von dem Kraftfahrzeug (oder einem dem Kraftfahrzeug zugeordneten Bereich des Gesamtbildes), insbesondere einem Eckbereich des Kraftfahrzeugs, zu einem Rand des Gesamtbildes hin erstrecken. Die Hauptachse kann dabei der Übergangslinie entsprechen. Ist die Übergangslinie nicht gerade, so kann die Hauptachse an ihren Endpunkten mit der Übergangslinie übereinstimmen. Alternativ kann die Ellipse eine verzerrte Ellipse sein, bei welcher die Hauptachse in ihrer Form an die Übergangslinie angepasst wird. Der Übergangsbereich kann in dem Gesamtbild auch von dem Kraftfahrzeug oder dem Eckbereich des Kraftfahrzeugs weg fächerartig auseinander laufen, beispielsweise mit der Übergangslinie als Winkelhalbierende des an dem Kraftfahrzeug durch den Fächer eingeschlossenen Winkel. Das hat den Vorteil, dass der Übergangsbereich besonders gut an eine jeweilige Situation angepasst werden kann, sodass Artefakte und Verzerrungen reduziert beziehungsweise eliminiert werden. Eine elliptische Form für den Übergangsbereich hat sich hier als besonders vorteilhaft für ein natürlich wirkendes Gesamtbild erwiesen.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das Objekt einen an das Kraftfahrzeug angehängten Anhänger umfasst beziehungsweise das Objekt ein an das Kraftfahrzeug angehängter Anhänger ist. Insbesondere kann der Recheneinrichtung von einer Fahrerassistenzeinrichtung eine Information über eine Position und/oder eine Größe des Anhängers zur Verfügung gestellt werden. Das hat den Vorteil, dass eine Verwerfung oder Verzerrung des Anhängers, welche sonst gerade bei einer Kurvenfahrt oder bei einem Rangieren mehr oder weniger zwangsläufig in dem Gesamtbild auftritt, vermieden werden kann. Durch das Bereitstellen der Information von der Fahrerassistenzeinrichtung des Kraftfahrzeugs kann dabei auf besonders einfache Weise das vorgeschlagene Verfahren auf den angehängten Anhänger als Objekt angewendet werden und ein besonders guter Überblick über die Umgebung des Kraftfahrzeugs erreicht werden. Die ist gerade bei dem Rangieren mit einem Anhänger beziehungsweise mit einem Gespann äußerst wichtig.
Die Erfindung betrifft auch eine Kameraeinrichtung für ein Kraftfahrzeug. Die Kameraeinrichtung weist dabei eine Kamera zum Erfassen einer ersten Bildinformation eines ersten Umgebungsbereichs des Kraftfahrzeugs auf sowie eine zweite Kamera zum Erfassen einer zweiten Bildinformation eines zweiten Umgebungsbereichs des Kraftfahrzeugs. Dabei überlappt der zweiten Umgebungsbereich in einem Überlappungsbereich teilweise mit dem ersten Umgebungsbereich. Die Kameraeinrichtung weist ferner eine Recheneinrichtung zum Zusammenfügen der ersten und der zweiten Bildinformation zu einem Gesamtbild. Bei dem Zusammenfügen können aus den jeweiligen Bildinformationen auch entsprechende Bilder oder Einzelbilder berechnet werden, aus denen das Gesamtbild zusammengesetzt wird. Dabei entspricht das Gesamtbild in einem ersten Bildteil, welcher einen ersten Teil des Überlappungsbereichs darstellt, der ersten Bildinformation und in einem zweiten Bildteil, welcher einen zweiten Teil des Überlappungsbereichs darstellt, der zweiten Bildinformation. Zwischen dem ersten und dem zweiten Bildteil ist dabei durch die Recheneinrichtung in dem Gesamtbild ein Übergangsbereich vorgegeben. Die Recheneinrichtung ist hier ausgelegt, den Übergangsbereich in Abhängigkeit von zumindest einem in dem Überlappungsbereich durch die Recheneinrichtung erkannten Objekt vorzugeben. Vorteile und vorteilhafte Ausführungsformen entsprechen hier den für das Verfahren beschriebenen Vorteilen und vorteilhaften Ausführungsformen.
Die Erfindung umfasst auch ein Kraftfahrzeug mit einer solchen Kameraeinrichtung.
Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus auch Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. Es zeigen:
1 eine schematische Darstellung eines Kraftfahrzeugs mit einer beispielhaften Ausführung einer Kameraeinrichtung mit mehreren Kameras in einer Draufsicht;
2 ein beispielhaftes Gesamtbild, wie es mit der Kameraeinrichtung aus 1 erzeugbar ist;
3 ein weiteres beispielhaftes Gesamtbild, wie es mit der Kameraeinrichtung aus 1 erzeugbar ist;
4 eine Überlagerung der beiden Gesamtbilder aus 2 und 3, anhand welcher eine beispielhafte Ausführungsform eines Verfahrens zum Betreiben der Kameraeinrichtung aus 1 erläutert wird;
5 eine beispielhafte Modellansicht einer Kameraeinrichtung, anhand derer beispielhafte Merkmale eines Verfahrens zum Betreiben einer Kameraeinrichtung erläutert wird;
6 ein anderes beispielhaftes Gesamtbild mit einer perspektivischen Außenansicht, bei welchem der Übergangsbereich in Abhängigkeit von einem erkannten Objekt vorgegeben wird; und
7 ein dem Gesamtbild aus 6 ähnelndes Gesamtbild mit einer perspektivischen Außenansicht, bei welcher der Übergangsbereich nicht in Abhängigkeit von dem erkannten Objekt vorgegeben wird.
Gleiche oder funktionsgleiche Elemente sind in den Figuren mit den gleichen Bezugszeichen versehen.
In 1 ist eine schematische Draufsicht auf ein Kraftfahrzeug mit einer beispielhaften Ausführungsform einer Kameraeinrichtung mit mehreren Kameras dargestellt. Das Kraftfahrzeug 1 weist hier eine Kameraeinrichtung 2 mit vorliegend vier Kameras 3a, 3b, 3c, 3d sowie eine Recheneinrichtung 4 auf. Bei den Kameras 3a–3d kann es sich um sogenannte Satellitenkameras handeln, also Kameras, welche ohne bauliche Anpassung der Kamera selber an verschiedenen Positionen des jeweiligen Fahrzeugs angebracht und für unterschiedliche Funktionen genutzt werden können. Im gezeigten Beispiel ist die Recheneinrichtung 4 auch mit einer weiteren Sensoreinrichtung 5 gekoppelt, bei welcher es sich vorliegend um eine Ultraschallsensoreinrichtung mit einer Vielzahl von Ultraschallsensoren 6a–6f handelt. Die Ultraschallsensoren 6a–6f sind vorliegend an einer Fahrzeugfront 7 des Kraftfahrzeugs 1 angeordnet. Die weitere Sensoreinrichtung 5 umfasst hier auch zusätzliche Ultraschallsensoren am Fahrzeugheck 8 des Kraftfahrzeugs 1 sowie an Fahrzeugseiten 9 und 10 des Kraftfahrzeugs 1, welche jedoch vorliegend aus Gründen der Übersichtlichkeit nicht eingezeichnet sind.
Mittels der Kameras 3a, 3b, 3c, 3d sind im gezeigten jeweilige Umgebungsbereiche 11a, 11b, 11c und 11d des Kraftfahrzeugs 1 überwachbar, indem eine jeweilige Bildinformation des zugehörigen Umgebungsbereichs 11a–11d durch die entsprechende Kamera 3a–3d erfasst wird. Dabei überlappen sich aufgrund der geometrischen Anordnung der Kamera 3a an der Fahrzeugfront 7 sowie den Kameras 3b und 3d an den Fahrzeugseiten 9, 10 sowie der Kamera 3c an dem Fahrzeugheck 8 und den jeweiligen Erfassungsbereichen der Kameras 3a–3d die jeweils benachbarten Umgebungsbereiche 11a–11d. Vorliegend überlappen sich die beiden Umgebungsbereiche 11a und 11b in einem Überlappungsbereich 12a, die Umgebungsbereiche 11b und 11c in einem Überlappungsbereich 12b, die Umgebungsbereiche 11c und 11d in einem Überlappungsbereich 12c und die Umgebungsbereiche 11d und 11a in einem Überlappungsbereich 12d.
Die Recheneinrichtung ist nun vorliegend ausgelegt, eine jeweilige Bildinformation der jeweiligen Umgebungsbereiche 11a–11d, welche von den Kameras 3a–3d erfasst werden, zu einem Gesamtbild 13 (2–4) zusammenzufügen. Kritisch ist dabei die Darstellung der jeweiligen Überlappungsbereiche 12a–12d. Im gezeigten Beispiel sind nun vier dieser Überlappungsbereiche 12a–12d vorhanden. Die Funktionsweise der Recheneinrichtung 4 beziehungsweise des Zusammenfügens der Bildinformationen zu dem Gesamtbild 13 soll jedoch beispielhaft für die Kamera 3a als erste Kamera 3a zum Erfassen einer ersten Bildinformation des ersten Umgebungsbereiches 11a und der Kamera 3b als zweite Kamera 3b zum Erfassen der zweiten Bildinformation des zweiten Umgebungsbereiches 11b erläutert werden. Entsprechend wird im Folgenden die erste beziehungsweise zweite Kamera mit der Kamera 3a beziehungsweise 3b referenziert und der erste beziehungsweise zweite Umgebungsbereich mit 11a beziehungsweise 11b. Der Überlappungsbereich wird im Folgenden aus Gründen der Übersichtlichkeit mit dem Überlappungsbereich 12a referenziert. Selbstverständlich gelten die entsprechenden Ausführungen mutatis mutandis sodann auch für die weiteren Kameras beziehungsweise Kamerakombinationen mit den jeweiligen Umgebungsbereichen 11a–11d mit den Überlappungsbereichen 12b, 12c, und 12d.
Die Recheneinrichtung ist nun für ein Zusammenfügen der ersten und der zweiten Bildinformation von der ersten Kamera 3a und der zweiten Kamera 3b zu dem Gesamtbild 13 (2–4) ausgelegt, wobei das Gesamtbild 13 in einem ersten Bildteil 12a‘-1 (4), welcher einen ersten Teil des Überlappungsbereiches 12a darstellt oder repräsentiert, der ersten Bildinformation entspricht und in einem zweiten Bildteil 12a‘-2 (4), welcher einen zweiten Teil des Überlappungsbereiches 12a darstellt, der zweiten Bildinformation. Zwischen dem ersten und dem zweiten Bildteil 12a‘-1, 12a‘-2 ist in dem Gesamtbild 13 dabei ein Übergangsbereich 15a (4) vorgegeben, welcher durch die Recheneinrichtung 4 in Abhängigkeit von zumindest einem in dem Überlappungsbereich 12a durch die Recheneinrichtung 4 erkannten Objekt 14a, 14a‘, 14b, 14b‘ (4) vorgegeben wird. Im gezeigten Beispiel erfolgt das Erkennen des Objekts 14a–14b‘ in dem Überlappungsbereich 12a nun über eine Information, welche der Recheneinrichtung 4 von der weiteren Sensoreinrichtung 5, hier der Ultraschallsensoreinrichtung, zur Verfügung gestellt wird. Alternativ oder ergänzend kann beispielsweise ein Objekt 14a–14b‘ in dem Überlappungsbereich 12a auch mittels eines Bilderkennungsalgorithmus durch die Recheneinrichtung 4 in den jeweiligen Bildformationen erkannt werden.
Auf das Gesamtbild 13 und das entsprechende Zusammenfügen durch die Recheneinrichtung 4 wird im Folgenden anhand der 2–4 eingegangen.
In 2 ist ein beispielhaftes Gesamtbild wie es durch die in 1 gezeigte Kameraeinrichtung erzeugbar ist, dargestellt. Das Gesamtbild 13 umfasst vorliegend neun aneinander angrenzende, hier rechteckige, Bildteile 1‘, 11a‘, 12a‘, 11b‘, 12b‘, 11c‘, 12c‘, 11d‘, 12d‘. Der zentrale Bildteil 1‘ entspricht dabei dem Kraftfahrzeug 1 (1), und die weiteren Bildteile 11a‘–11d‘ und 12a‘–12d‘ die jeweiligen um das Kraftfahrzeug 1 angeordneten Umgebungsbereiche 11a–11d beziehungsweise die dazugehörigen Überlappungsbereiche 12a–12d. Im gezeigten Beispiel, welches wie das in 3 gezeigte Beispiel dem besseren Verständnis des in 4 gezeigten Beispiels dienen soll, entspricht das Gesamtbild 13 nun in den Eck-Bildteilen 12a‘–12d‘, welche jeweils die Überlappungsbereiche 12a–12d in der Umgebung des Kraftfahrzeugs 1 (1) repräsentieren, jeweils der durch die seitlichen Kameras 3b, 3d erfassten Bildinformation. So entspricht also das Gesamtbild 13 in dem Bildteil 12a‘, das vorliegend den gesamten Überlappungsbereich 12a darstellt, der Bildinformation der zweiten Kamera 3b. Entsprechend werden vorliegend die Objekte 14a und 14b in dem Überlappungsbereich 12a auf dem Gesamtbild 13 aus der Perspektive der zweiten Kamera 3b dargestellt. Analoges gilt entsprechend für die weiteren Bildteile 12b‘–12d‘, welche den Überlappungsbereichen 12b–12d entsprechen, und die dortigen Objekte.
Davon unterscheidet sich die Situation in 3 gänzlich.
In 3 ist ein weiteres Gesamtbild, wie es durch die in 1 dargestellte Kameraeinrichtung erzeugt werden kann, dargestellt. Im Gegensatz zu dem in 2 gezeigten Gesamtbild 13 entspricht das Gesamtbild 13 nun in den Eck-Bildteilen 12a‘–12d‘, welche jeweils die Überlappungsbereiche 12a–12d in der Umgebung des Kraftfahrzeugs 1 (1) repräsentieren, jeweils der durch die frontseitige Kamera 3a und durch die heckseitige Kameras 3c erfassten Bildinformation. Entsprechend ist nun die Bildinformation der ersten, frontseitigen Kamera 3a erfasste Bildinformation Grundlage für das Gesamtbild in dem Bildteil 12a‘. Entsprechend werden nun die Objekte 14a und 14b, vorliegend die Beine von Personen in der Umgebung des Kraftfahrzeugs 1, in dem Gesamtbild 13 aus der Perspektive der ersten Kamera 3a dargestellt. Entsprechendes gilt vorliegenden für die weiteren Bildteile 12b‘–12d‘, welche den Überlappungsbereichen 12b–12d entsprechen.
In 4 ist nun zur Erläuterung einer beispielhaften Ausführungsform eines Verfahrens zum Betreiben einer Kameraeinrichtung mit mehreren Kameras eine Überlagerung der beiden Gesamtbilder 13 aus 2 und 3 dargestellt. Aufgrund der unterschiedlichen Perspektiven der ersten und der zweiten Kamera 3a, 3b (1) werden bei der einfachen Überlagerung die Objekte 14a und 14b in den Bildteilen 12a‘–12d‘ jeweils zugleich aus unterschiedlichen Perspektiven dargestellt, was zu irritierenden Artefakten führt. Eine simple Überlagerung der beiden Bildinformationen der beiden Kameras 3a, 3b im Bildteil 12a‘ (sowie den weiteren Bildteilen 12b‘–12d‘) des Gesamtbilds 13 ist daher ungünstig. Die Idee ist daher, dass der Bildteil 12a‘ des Gesamtbilds 13 in einem ersten Bildteil 12a‘-1, welcher an den Bildteil 11a‘ angrenzt, ausschließlich der ersten Bildinformation der ersten Kamera 3a entspricht und in einem zweiten Bildteil 12a‘-2, welcher an den Bildteil 11b‘ angrenzt, ausschließlich der zweiten Bildinformation der zweiten Kamera 3b entspricht. Damit wird in dem endgültigen Gesamtbild 13 in dem Bildteil 12a‘-1 nur das Objekt beziehungsweise die Objekte 14a, 14b aus der Perspektive der ersten Kamera 3a dargestellt, nicht jedoch die Objekte 14a‘, 14b‘ aus der Perspektive der zweiten Kamera 3b – die Objekte 14a‘, 14b‘ sind somit in 4 nur zur besseren Veranschaulichung des Verfahrensprinzips des dargestellt und sind bei ordnungsgemäßer Durchführung des Verfahrens nicht Teil des Gesamtbilds 13, wodurch ein verbesserter Überblick erreicht wird.
Zwischen dem ersten Bildteil 12a‘-1 und dem zweiten Bildteil 12a‘-2 ist der Überlappungsbereich 15a vorgegeben. In diesem werden die erste und die zweite Bildinformation nicht nur in der gezeigten Überlagerung, sondern auch im endgültigen Gesamtbild 13 überlagert dargestellt. Damit wird ein fließender Übergang zwischen dem ersten Bildteil 12a‘-1 und dem zweiten Bildteil 12a‘-2 erreicht. Entscheidend ist, dass der Übergangsbereich 15a derart vorgegeben wurde, dass sich ein erkanntes Objekt, vorliegend die erkannten Objekte 14a, 14a‘, 14b, 14b‘ außerhalb des Übergangsbereiches 15a befinden.
Vorliegend erstreckt sich der Übergangsbereich 15a von einer Ecke des zentralen Bildteils 1‘, welcher dem Kraftfahrzeug 1 entspricht, zu einem Rand des Gesamtbilds 13. Dabei ist der Übergangsbereich 15a hier ellipsenartig ausgeformt, was sich als besonders vorteilhaft erwiesen hat. Die Hauptachse der Ellipse verläuft in diesem Beispiel von der Ecke des zentralen Bildteils 1‘ zu dem Rand des Gesamtbilds 13 durch den Bildteil 12a‘. Der Übergangsbereich 15a kann also beispielsweise dadurch bestimmt werden, dass die Hauptachse der Ellipse, welche hier einer Übergangslinie 16a entspricht, von dem Eck des zentralen Bildteils 1‘ zu dem Rand des Gesamtbild 13 gelegt wird und das randseitige Ende der Hauptachse oder der Übergangslinie 16a an dem Rand des Gesamtbildes 13 solange verschoben wird, bis sie nicht mehr durch ein Objekt 14a, 14a‘, 14b, 14b‘ verläuft. Die Übergangslinie 16a kann beispielsweise den Übergangsbereich 15a in zwei Teile teilen, wobei bevorzugt in dem dem zweiten Bildteil 12a‘-2 zugewandten Teil des Übergangsbereiches 15a bei dem Überlagern der beiden Bildinformationen die zweite Bildinformation stärker gewichtet wird und in dem dem ersten Bildteil 12a‘-1 zugewandten Teil des Übergangsbereiches 15a die erste Bildinformation.
In 4 ist nun in dem weiteren Bildteil 12b‘ eine andere Ausgestaltung eines Übergangsbereiches 15b dargestellt. Entsprechend den obigen Ausführungen umfasst der Bildteil 12b‘ des Gesamtbildes 13 einen ersten Bildteil 12b‘-1, in welchem das Gesamtbild 13 einer von der seitlichen Kamera 3b erfassten Bildinformation entspricht und einen zweiten Bildteil 12b‘-2, in welchem das Gesamtbild 13 einer von der heckseitigen Kamera 3b erfassten Bildinformation entspricht. Der erste Bildteil 12b‘-1 grenzt dabei an den Bildteil 11b‘ an, der zweite Bildteil 12b‘-2 an den Bildteil 11c‘. Es entsprechen hier also nunmehr für den Bildteil 12b‘ die Kamera 3b der ersten Kamera im Sinne obiger Erläuterungen und die Kamera 3c der zweiten Kamera im Sinne der obigen Erläuterungen. Zwischen dem ersten Bildteil 12b‘-1 und dem zweiten Bildteil 12b‘-2 ist hier wiederum der Übergangsbereich 15b angeordnet. Dieser ist hier abschnittsweise als Linie ausgeführt und in einem an den zentralen Bildteil 1‘ angrenzenden Bereich flächig, vorliegend wieder in Form einer Ellipse. Das hat vorliegend die Folge, dass in dem endgültigen Gesamtbild 13 sodann das Objekt 14c in dem ersten Bildteil 12b‘-1 nicht mehr dargestellt wird, sondern nun noch das Objekt 14c‘. In dem zweiten Bildteil 12b‘-2 wird hingegen das Objekt 14c‘ nicht angezeigt, es ist jedoch das Objekt 14d zu sehen – nicht Objekt 14d‘. Auch damit werden erneut Artefakte unterbunden und ein verbesserter Überblick über die Umgebung des Kraftfahrzeugs 1 erreicht.
In dem Bildteil 12c des Gesamtbilds 13 schließlich ist eine weitere Ausgestaltung eines Übergangsbereiches 15c dargestellt. Dieser ist hier wieder ganz ähnlich des Übergangsbereichs 15a als Ellipse von einer Ecke des zentralen Bildteils 1‘ zu einem Rand des Gesamtbilds 13 ausgeführt. Allerdings ist vorliegend die Hauptachse der Ellipse, welche wieder der Übergangslinie 16c entspricht, im Verhältnis zur Nebenachse der Ellipse länger, die Ellipse also insgesamt schmaler. Dies soll illustrieren, dass in Abhängigkeit der jeweils erkannten Objekte 14a, 14a‘–14e, 14e‘ eine Vielzahl von unterschiedlichen Formen und Orientierungen des Übergangsbereiches 15a, 15b, 15c vorgegeben werden kann.
Die hier in dem beschriebenen Beispiel erläuterten unterschiedlichen Ausgestaltungen der jeweiligen Übergangsbereiche 15a, 15b, 15c sind hier exemplarisch zu verstehen und unabhängig voneinander realisierbar.
In 5 wird eine Modellansicht des Kraftfahrzeugs in einer Umgebung dargestellt. Das Kraftfahrzeug 1 ist dabei auf seinen Grundriss reduziert dargestellt. Die erste Kamera 3a und die zweite Kamera 3b sind dabei jeweils als Punkte C2 mit den Koordinaten (x4, y4, z4) beziehungsweise C1 mit den Koordinaten (x3, y3, z3) im Raum dargestellt. Die optischen Achsen 17a, 17b der beiden Kameras 3a, 3b schneiden den Boden dabei in den Punkten M mit den Koordinaten (x1, y1, 0) beziehungsweise N mit den Koordinaten (x2, y2, 0). Von der jeweiligen Einbauposition der beiden Kameras 3a, 3b und deren optischen Eigenschaften abhängig ergeben sich nun Punkte A mit den Koordinaten (x, y, 0) auf dem Boden, für welche eine Bildvergrößerung in den beiden Bildinformationen, welche von den beiden Kameras 3a, 3b, 3c erfasst werden, identisch ist. Diese Punkte A bilden eine optimale Übergangslinie 18a. Es wird somit eine bestmögliche Bildqualität in dem Gesamtbild 13 (2–4) erreicht, wenn die Übergangslinie 16a nach Möglichkeit mit der idealen Übergangslinie 18a zusammenfällt. Analoges gilt für die Übergangslinie 16c. Beispielsweise kann die optimale Übergangslinie 18a als Übergangslinie 16a des Übergangsbereiches 15a (4) festgelegt werden, falls sie nicht durch ein erkanntes Objekt 14a, 14a‘, 14b 14b‘ verläuft.
In dem hier gezeigten Beispiel unterscheidet sich die Form des Übergangsbereiches 15a von der Form des Übergangsbereiches 15a in 4, da der Übergangsbereich 15a nicht als Ellipse geformt ist, sondern vorliegend durch zwei Schenkel 19 und 19‘ begrenzt wird, welche die ideale Übergangslinie 18a je in einem Winkel α schneiden. Die optimale Übergangslinie 18a ist somit die Winkelhalbierende des von den beiden Schenkeln 19, 19‘ eingeschlossenen Winkels 2α. Ist die optimale Übergangslinie 18a keine Gerade, so kann sie für das Bestimmen des Übergangsbereiches 15a beispielsweise mit einer Geraden angenähert werden.
Schneidet die optimale Übergangslinie 18a nun ein erkanntes Objekt 14a–14b‘ (4) so kann die Übergangslinie 16a bestimmt werden, indem beispielsweise eine Gerade oder allgemein eine Linie von dem Eck des zentralen Bildteils 1‘ zu dem Rand des Gesamtbilds 13 gesucht wird, welche nicht durch ein Objekt 14a–14e‘ verläuft und dabei von der optimalen Übergangslinie 18a möglichst geringfügig abweicht.
Die dargestellten und erläuterten Zusammenhänge sind vorliegend mit den Kameras 3a und 3b als erste und zweite Kamera erläutert, sowie für die Umgebungsbereiche 11a, 11b und 12a und entsprechen so den Bildteilen 11a‘, 11b‘ und 12a‘. Selbstverständlich können diese Ausführungen auch auf andere Kombinationen von Kameras angewandt und übertragen werden, und insbesondere auch für eine Vielzahl von Kameras und Überlappungsbereichen parallel durch die Kameraeinrichtung 2 (1) realisiert werden. Entsprechend können die Erläuterungen zu 5 außer auf den Bildteil 12a‘ (4) auch auf die Bildteile 12b‘, 12c‘ und 12d‘ bezogen werden.
In 6 ist ein anderes beispielhaftes Gesamtbild mit einer perspektivischen Außenansicht, bei welchem der jeweilige Übergangsbereich in Abhängigkeit von einem erkannten Objekt vorgegeben wird, dargestellt. Die perspektivische Außenansicht ist auch als „bowl view“ bekannt. Das Kraftfahrzeug 1 (5) wird dabei in einer perspektivischen Außenansicht aus der Perspektive einer virtuellen Kamera, die vorliegend oberhalb und vor dem Kraftfahrzeug 1 angeordnet ist, dargestellt. Das Kraftfahrzeug 1 kann dabei in dem zentralen Bildteil 1‘ als Modellansicht gezeigt werden, wie dies hier auch der Fall ist. Im vorliegenden Beispiel sind nun die Übergangslinien 16b, 16c in Abhängigkeit der Objekte 14e und 14c‘, welche hier Perspektiven auf ein links und ein rechts des Kraftfahrzeugs 1 parkendes weiteres Fahrzeug darstellen, festgelegt. Dies ist hier so erfolgt, dass die Übergangslinien 16b, 16c nicht durch die erkannten Objekte verlaufen. Damit ist in dem Gesamtbild 13 das jeweilige parkende Fahrzeug als jeweils ein einziges Objekt 14e und 14c‘ dargestellt, es wird als jedes reale Objekt (die parkenden Fahrzeuge) in dem Gesamtbild 13 nur aus einer einzigen Perspektive gezeigt.
Der besseren Verständlichkeit wegen ist vorliegend auf eine Kennzeichnung von den Übergangslinien 16b, 16c entsprechenden Übergangsbereichen 15b, 15c (4) verzichtet. Diese können alternativ oder ergänzend entsprechend den obigen Darlegungen ausgeführt sein. Zum besseren Verständnis sind vorliegend auch nochmals die Bildteile 11b‘, 11c‘ 11d‘ sowie die Bildteile 12b‘-1, 12b‘-2, 12c‘-1 und 12c‘-2 gekennzeichnet.
In 7 ist ein dem Gesamtbild aus 6 ähnelndes Gesamtbild mit einer perspektivischen Außenansicht, bei welcher der jeweilige Übergangsbereich nicht in Abhängigkeit von dem erkannten Objekt vorgegeben wird, dargestellt. Die jeweils erfasste erste und zweite Bildinformation ist hier identisch zu den für das Gesamtbild 13 von 6 erfassten Bildinformationen. Die Übergangslinien 16b, 16c verlaufen hier allerdings durch die Objekte 14c, 14c‘ und 14e, 14e‘. Damit werden in dem Gesamtbild die Objekte, hier die beiden parkenden Fahrzeuge, gleichzeitig aus unterschiedlichen Perspektiven gezeigt. Auf dem Gesamtbild 13 werden also als Repräsentation der realen Objekte, hier der parkenden Fahrzeuge, nicht nur zwei Objekte 14c‘, 14e dargestellt, sondern vier Objekte 14c, 14c‘ und 14e, 14e‘. Überdies treten dadurch bedingt als Artefakte Verzerrungen im Gesamtbild 13 auf, wodurch der Überblick im Vergleich zu dem Gesamtbild 13 von 6 verschlechtert ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2002/0017985 A1 [0005]

Claims

Verfahren zum Betreiben einer Kameraeinrichtung (2) mit zumindest einer ersten und einer zweiten Kamera (3a, 3b) für ein Kraftfahrzeug (1), mit den Schritten: – Erfassen einer ersten Bildinformation eines ersten Umgebungsbereiches (11a) des Kraftfahrzeugs (1) durch die erste Kamera (3a); – Erfassen einer zweiten Bildinformation eines zweiten Umgebungsbereiches (11b) des Kraftfahrzeugs (1) durch die zweite Kamera (3b), wobei der zweite Umgebungsbereich (11b) teilweise mit dem ersten Umgebungsbereich (11a) in einem Überlappungsbereich (12a) überlappt; – Zusammenfügen der ersten und der zweiten Bildinformation zu einem Gesamtbild (13), durch eine Recheneinrichtung (4), wobei das Gesamtbild (13) in einem ersten Bildteil (12a‘-1), welcher einen ersten Teil des Überlappungsbereiches (12a) darstellt, der ersten Bildinformation entspricht und in einem zweiten Bildteil (12a‘-2), welcher einen zweiten Teil des Überlappungsbereiches (12a) darstellt, der zweiten Bildinformation entspricht und zwischen dem ersten und dem zweiten Bildteil (12a‘-1, 12a‘-2) in dem Gesamtbild (13) ein Übergangsbereich (15a) vorgegeben wird; dadurch gekennzeichnet, dass der Übergangsbereich (15a) in Abhängigkeit von zumindest einem in dem Überlappungsbereich (12a) durch die Recheneinrichtung (4) erkannten Objekt (14a, 14a’, 14b, 14b’) vorgegeben wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Gesamtbild (13) in dem Übergangsbereich (15a) einer Überlagerung der ersten und der zweiten Bildinformation entspricht.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Übergangsbereich (15a) derart vorgegeben wird, dass sich das zumindest eine erkannte Objekt (14a, 14a’, 14b, 14b’) auf dem Gesamtbild (13) außerhalb des Übergangsbereiches (15a) befindet.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Übergangsbereich (15a) durch eine Übergangslinie (16a), insbesondere eine gerade Übergangslinie (16a), welche nicht durch das zumindest eine erkannte Objekt (14a, 14a’, 14b, 14b’) auf dem Gesamtbild (13) verläuft, in zwei Teile geteilt wird, wobei insbesondere in der Übergangslinie (16a) die erste und die zweite Bildinformation zu gleichen Teilen miteinander überlagert wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Übergangslinie (16a) derart vorgegeben wird, dass eine Abweichung zwischen der Übergangslinie (16a) und einer optimalen Übergangslinie (18a) minimiert wird, wobei die optimale Übergangslinie (18a) durch die Menge aller Punkte in dem Überlappungsbereich (12a) definiert ist, welche durch die erste und die zweite Kamera (3a, 3b) in der ersten und in der zweiten Bildinformation eine identische Bildvergrößerung erfahren.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Gesamtbild (13) den ersten und den zweiten Umgebungsbereich (11a, 11b) aus einer Vogelperspektive zeigt oder das Gesamtbild (13) den ersten und den zweiten Umgebungsbereich (11a, 11b) sowie das Kraftfahrzeug (1) aus einer perspektivischen Außenansicht zeigt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Übergangsbereich (15a) und/oder die Übergangslinie (16a) dynamisch vorgegeben wird, insbesondere bei einer Vielzahl von aufeinander folgenden Gesamtbildern für jedes der Gesamtbilder dynamisch vorgegeben wird.
Verfahren nach einem der Ansprüche 2 bis 7, dadurch gekennzeichnet, dass für die Überlagerung der ersten und der zweiten Bildinformation in dem Übergangsbereich (15a) für jedes Pixel in dem Übergangsbereich (15a) in der Recheneinrichtung (4) eine Wichtung der zugehörigen jeweils zu überlagernden Pixel der ersten und der zweiten Bildinformation in einer vorbestimmten Tabelle hinterlegt ist.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass in der Recheneinrichtung (4) mehrere vorbestimmte Tabellen hinterlegt sind, welche jeweils einem unterschiedlich gestalteten Übergangsbereich (15a) zugeordnet sind.
Verfahren nach einem der Ansprüche 2 bis 7, dadurch gekennzeichnet, dass für die Überlagerung der ersten und der zweiten Bildinformation in dem Übergangsbereich (15a) für jedes Pixel in dem Übergangsbereich (15a) in der Recheneinrichtung (4) eine Wichtung der zugehörigen jeweils zu überlagernden Pixel der ersten und der zweiten Bildinformation gemäß einer in der Recheneinrichtung (4) hinterlegten Rechenvorschrift berechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Übergangsbereich (15a) in seiner Position und/oder Orientierung und/oder Größe und/oder Form vorgegeben wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Objekt (14a, 14a’, 14b, 14b’) einen an das Kraftfahrzeug (1) angehängten Anhänger umfasst und insbesondere der Recheneinrichtung (4) von einer Fahrerassistenzeinrichtung eine Information über eine Position und/oder eine Größe des Anhängers zur Verfügung gestellt wird.
Kameraeinrichtung (2) für ein Kraftfahrzeug (1), mit – einer ersten Kamera (3a) zum Erfassen einer ersten Bildinformation eines ersten Umgebungsbereiches (11a) des Kraftfahrzeugs (1); – einer zweiten Kamera (3b) zum Erfassen einer zweiten Bildinformation eines zweiten Umgebungsbereiches (11b) des Kraftfahrzeugs (1), wobei der zweite Umgebungsbereich (11b) teilweise mit dem ersten Umgebungsbereich (11a) in einem Überlappungsbereich (12a) überlappt; und – einer Recheneinrichtung (4) zum Zusammenfügen der ersten und der zweiten Bildinformation zu einem Gesamtbild (13), wobei das Gesamtbild (13) in einem ersten Bildteil (12a‘-1), welcher einen ersten Teil des Überlappungsbereiches (12a) darstellt, der ersten Bildinformation entspricht und in einem zweiten Bildteil (12a‘-2), welcher einen zweiten Teil des Überlappungsbereiches (12a) darstellt, der zweiten Bildinformation entspricht und zwischen dem ersten und dem zweiten Bildteil in dem Gesamtbild (13) ein Übergangsbereich (15a) vorgegeben ist; dadurch gekennzeichnet, dass die Recheneinrichtung (4) ausgelegt ist, den Übergangsbereich (15a) in Abhängigkeit von zumindest einem in dem Überlappungsbereich (12a) durch die Recheneinrichtung (4) erkannten Objekt (14a, 14a’, 14b, 14b’) vorzugeben.
Kraftfahrzeug (1) mit einer Kameraeinrichtung (2) nach Anspruch 13.