DE102014213536A1

DE102014213536A1 - Zusammenfügen von Teilbildern zu einem Abbild einer Umgebung eines Fortbewegungsmittels

Info

Publication number: DE102014213536A1
Application number: DE102014213536.2A
Authority: DE
Inventors: Philipp Hoffmann; Torsten Schmidt
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2014-07-11
Filing date: 2014-07-11
Publication date: 2016-01-14
Also published as: US20170116710A1; CN107027329B; US11087438B2; EP3167427A1; CN107027329A; WO2016005232A1

Abstract

Es werden ein Fahrerassistenzsystem und ein Verfahren zum Zusammenfügen von Teilbildern zu einem Abbild eines zusammenhängenden Umgebungsbereiches (IV) eines Fortbewegungsmittels (10) vorgeschlagen. Das Verfahren umfasst die Schritte: – Erfassen eines ersten Teilbereiches (I) des Umgebungsbereiches (IV) mittels eines ersten Umgebungssensors (1), – Erfassen eines zweiten Teilbereiches (II) des Umgebungsbereiches (IV) mittels eines zweiten Umgebungssensors (2), – Erzeugen eines ersten Teilbildes des ersten Teilbereiches (I) auf Basis eines Signals des ersten Umgebungssensors (1), – Erzeugen eines zweiten Teilbildes des zweiten Teilbereiches (II) auf Basis eines Signals des zweiten Umgebungssensors (2) und einer Vielzahl virtueller Sensoren (3) zur Erfassung des zweiten Teilbereiches (II), – Zusammenfügen des ersten Teilbildes und des zweiten Teilbildes entlang einer geraden ersten Fügelinie (4), wobei die virtuellen Sensoren (3) an Positionen im Wesentlichen auf einer Senkrechten (6) zur Fügelinie angeordnet sind.

Description

Die vorliegende Erfindung betrifft ein Fortbewegungsmittel, ein Fahrerassistenzsystem sowie ein Verfahren zum Zusammenfügen von Teilbildern zu einem Abbild eines zusammenhängenden Umgebungsbereiches eines Fortbewegungsmittels. Insbesondere betrifft die vorliegende Erfindung die Vermeidung von Verzerrungen im Bereich der Fügelinie bzw. der Fügelinien.
Um den Betrieb von Fortbewegungsmitteln komfortabler und sicherer zu machen, werden Fahrerassistenzsysteme verwendet, welche über Sensoren Umgebungssignale aufnehmen und dem Fahrer Abbilder der Umgebung darstellen. Beispielsweise ist es bekannt, zur Überwachung eines hinter dem Ego-Fahrzeug liegenden Verkehrsraums eine Kamera zur Bildaufnahme vorzusehen, deren Bilder dem Fahrer an einem Display, welches im Bereich des Cockpits oder der Mittelkonsole integriert ist, wiedergegeben werden. Diese Systeme dienen oft als Einparkhilfen. Zudem ist es bekannt, diese Systeme als Ersatz für einen fahrzeugseitig vorgesehenen Rückspiegel zu integrieren. Dem Fahrer ist es möglich, anstatt über die Rückspiegel über die Kamerabilddarstellung den rückwärtigen Verkehrsraum zu überwachen. Damit lässt sich die Umgebung des Fahrzeugs über Displays im Fahrzeuginterieur darstellen.
DE 10 2011 079 913 offenbart ein Sichtunterstützungssystem für einen Fahrer und ein Fahrzeug mit einem solchen System.
DE 10 2010 023 591 offenbart die Verwendung eines Stereokamerasystems im Rahmen eines Fahrerassistenzsystems für Straßenfahrzeuge.
US 7,139,412 offenbart ein Verfahren zum Zusammenfügen mehrerer Bilder und eine Vorrichtung für eine fahrzeugbasierte Kamera, deren Bilder entlang einer Fügelinie zusammengefügt werden.
US 6,476,855 offenbart eine Vorrichtung zur Anzeige eines Abbildes einer Umgebung eines Fortbewegungsmittels.
WO 1999/015360 A1 beschreibt eine Seheinrichtung mit Kameras für ein Fahrzeug. Mindestens eine Kamera ist dabei an einer Seite des Fahrzeugs angeordnet. Die Seheinrichtung ermöglicht z.B. den Ersatz bisheriger Außen- und Innenspiegel im Kraftfahrzeug durch den Einsatz von Bildaufnahmesensoren und dient z.B. als Einparkhilfe.
Obwohl Kameras ein radiales, dreidimensionales (3D) Feld aufzeichnen, wird die Darstellung auf einem Monitor in eine flache, viereckige Ebene verzerrt. Damit lässt sich der Abstand zu Objekten speziell in den toten Winkeln, nicht so leicht einschätzen. In einer fusionierten Anzeige der drei Sichtfelder (Spiegel) ist es notwendig, die Zuordnung oder auch Relativposition des Ego-Fahrzeugs durch ein entsprechendes Anzeigekonzept zu realisieren.
Um Rückspiegel nicht nur kundentauglich, sondern auch zulassungstauglich entfallen lassen zu können, sind festgelegte Bildqualitäten auch und insbesondere im Bereich der Fügelinien zusammengefügter Teilbilder vorgeschrieben, welche durch den Stand der Technik nicht eingehalten werden. Es ist daher eine Aufgabe der vorliegenden Erfindung, den vorstehend genannten Bedarf zu stillen.
Die vorstehend genannte Aufgabe wird erfindungsgemäß durch ein Verfahren zum Zusammenfügen von Teilbildern zu einem Abbild eines zusammenhängenden Umgebungsbereiches eines Fortbewegungsmittels gelöst. Hierzu wird in einem ersten Schritt ein erster Teilbereich des Umgebungsbereiches mittels eines Umgebungssensors erfasst. Der Umgebungsbereich kann beispielsweise ein rückwärtiger Bereich des Fortbewegungsmittels sein, welcher in etwa mit einem Bereich hinter der vorderen Stoßstange eines Fortbewegungsmittels und links oder rechts des Fahrzeugs liegt. Der erste Umgebungssensor kann beispielsweise eine zweidimensionale (2D), optische Kamera, sein. Diese kann im Bereich eines Kotflügels und/oder eines Außenspiegels eines Fortbewegungsmittels angeordnet sein. Zusätzlich wird ein zweiter Teilbereich (welcher zumindest nicht vollständig identisch mit dem ersten Teilbereich ist) desselben Umgebungsbereiches mittels eines zweiten Umgebungssensors erfasst. Der zweite Umgebungssensor kann ebenfalls ein optischer Sensor sein. Im Gegensatz zum ersten Umgebungssensor kann der zweite Umgebungssensor jedoch zusätzliche Informationen aufnehmen, wodurch er beispielsweise dreidimensionale Abbilder des zweiten Teilbereiches ermöglicht. In einem zweiten Schritt werden ein erstes Teilbild des Abbildes des Umgebungsbereiches auf Basis eines Signals des ersten Umgebungssensors und ein zweites Teilbild des Abbildes des Umgebungsbereiches auf Basis eines Signals des zweiten Umgebungssensors erzeugt. Das zweite Teilbild basiert darüber hinaus auf einer Vielzahl virtueller Sensoren zur Erfassung des zweiten Teilbereiches. Die Vielzahl virtueller Sensoren könnte auch als Vielzahl alternativer Perspektiven auf den zweiten Teilbereich bezeichnet werden, welche auf Basis mittels realer Sensoren erfasster Signale erstellt (z.B. errechnet) wird. Auf diese Weise liegt eine Vielzahl Perspektiven auf den zweiten Teilbereich vor. Erfindungsgemäß sind die virtuellen Sensoren an Positionen im Wesentlichen auf einer Senkrechten zu einer Fügelinie angeordnet, entlang welcher das erste Teilbild und das zweite Teilbild zusammengefügt werden. Auf diese Weise weist ein jeder virtueller Sensor einen unterschiedlichen Abstand von der ersten Fügelinie auf. Insbesondere weist jeder virtuelle Sensor ein ganzzahliges Vielfaches eines Grundabstandes eines bestimmten virtuellen Sensors von der Fügelinie auf, der vergleichsweise nahe an der Fügelinie angeordnet ist. Während die Fügelinie zwischen zwei in unterschiedliche azimutale Raumbereiche gerichteten Sensoren meist vertikal angeordnet ist, kann für dreidimensionale Bildbereiche auch eine Fügefläche identifiziert werden, welche die Raumgrenzflächen unterschiedlicher Umgebungsabbilder beim Zusammenfügen definiert. Auch bezüglich einer solchen Fügefläche können die virtuellen Sensoren auf einer im Wesentlichen Senkrechten angeordnet sein. Indem zumindest ein virtueller Sensor bezüglich einer Erfassungswinkelgrenze des ersten Umgebungssensors eine ähnlichere Perspektive aufweist als der zweite Umgebungssensor, bietet sich die Möglichkeit, über die Signale des besagten virtuellen Sensors eine geringere Verzerrung beim Zusammenfügen des ersten Teilbildes und des Teilbildes zu erzeugen. Insbesondere bei der Erzeugung eines Abbildes einer Fahrzeugumgebung entstehen derart geringe Verzerrungen, dass auf optische Hilfsmittel, wie z.B. Innen-/Außen-Spiegel verzichtet werden kann. Auf diese Weise verringert sich der Windwiderstand eines Fortbewegungsmittels, was den Energieaufwand zu dessen Fortbewegung senkt. Zudem besteht die Möglichkeit, synthetische Bilder mit zusätzlichen Informationen anzureichern und die Kameras an Positionen anzuordnen, welchen ein umfassenderes und somit geeigneteres Abbild der Fahrzeugumgebung darstellt. Beispielsweise kann der erste Teilbereich einen sog. „toten Winkel“ beinhalten, welchen der Fahrer des Fortbewegungsmittels ansonsten nur mit Komforteinbußen und unter Verlust eines Eindruckes übriger Umgebungsbereiche erfassen kann.
Bevorzugt kann ein virtueller Sensor in unmittelbarer Nähe der ersten Fügelinie angeordnet sein. Seine Perspektive auf den Bereich der Fügelinie ist damit nahezu identisch mit derjenigen des ersten Umgebungssensors. Die Verzerrungen in diesem Bereich können auf diese Weise auf ein bislang nicht mögliches Niveau gesenkt werden, wodurch die einschlägigen Normen (z.B. ECE-R46) erfüllt werden.
Insbesondere sind die virtuellen Sensoren horizontal zueinander beabstandet anzuordnen, so dass ihre jeweiligen Kernerfassungsbereiche dicht nebeneinander angeordnete, vertikale Streifen („Segmente“) des zweiten Teilbereiches ablichten. Auf diese Weise wird eine äußerst verzerrungsarme Wiedergabe des zweiten Teilbildes auch für den Fall möglich, dass eine anschließende Umwandlung des zweiten Teilbildes (z.B. von einer dreidimensionalen Datenbasis auf eine zweidimensionale Datenbasis) verzerrungsarm erfolgen kann.
Die Kernerfassungsbereiche der virtuellen Sensoren können zur Erzeugung vertikaler Bildsegmente verwendet werden, welche entlang zweiter Fügelinien aneinander gefügt das zweite Teilbild ergeben. Die zweiten Fügelinien können beispielsweise parallel zur ersten Fügelinie angeordnet sein. Je mehr virtuelle Sensoren verwendet werden, desto geringer sind die Verzerrungen innerhalb des zweiten Teilbildes. Sofern die Fügelinien bzw. Fügeflächen im Wesentlichen mit der linken und der rechten Seite eines mittels des Fortbewegungsmittels durchfahrenen Fahrschlauches (oder Trajektorie) bei einer Geradeausfahrt entsprechen, wird der Bereich hinter dem Fortbewegungsmittel somit durch die Vielzahl Segmente zusammengesetzt. In diesem Bereich können beispielsweise bekannte Verfahren (z.B. Alpha-Blending) verwendet werden. Ein anderes Verfahren wird als „Interpolation von Sichtstrahlen“ bezeichnet und in der Veröffentlichung „Megastereo: Contructing High-Resolution Stereo Panoramas“ im Detail erläutert. Die Interpolation wird mit Hilfe des Net-Flow-Verfahrens erreicht. In diesem Verfahren wird die Bewegung („Flow“) auf Pixelebene zwischen zwei Ansichten dargestellt. Mithilfe dieser Information kann jede Zwischenposition zwischen zwei unterschiedlichen Ansichten interpoliert werden. Damit kommt es zu einer wesentlichen Verminderung der Darstellungsprobleme von Objekten, die eine hohe Abweichung in der Entfernung zur Projektionsfläche aufweisen.
Der erste Umgebungssensor kann beispielsweise ein 2D-Sensor sein. Er kann als (Mono-)Außenkamera im Bereich eines Kotflügels, eines Außenspiegels, einer Tür des Fortbewegungsmittels oder im Bereich einer Dachkante / eines Dachgepäckträgers ausgestaltet sein. Der zweite Umgebungssensor kann beispielsweise zwei optische Sensoren umfassen bzw. als Stereokamera ausgestaltet sein. Er kann im Bereich des Fahrzeughecks, insbesondere mittig, bezüglich der Fahrzeugbreite angeordnet sein. Auf diese Weise werden eine Vielzahl Bildinformationen des rückwärtigen Bereiches des Fortbewegungsmittels erfasst und für eine anschließende Bearbeitung bereitgehalten. Der Fachmann für Bildverarbeitung wird verstehen, dass erfindungsgemäß nicht lediglich optische Sensoren verwendet werden können, sondern dass jegliche Sensoren, welche ein zweidimensionales bzw. dreidimensionales Abbild der Umgebung erzeugen bzw. ermöglichen, anwendbar sind. Sofern der erste Teilbereich einer rechten Fahrzeugseite und der zweite Teilbereich einem zentralen rückwärtigen Umgebungsbereich des Fortbewegungsmittels zugeordnet sind, ist es vorteilhaft, auch für die linke Fahrzeugseite einen Umgebungssensor vorzusehen, der im Rahmen der vorliegenden Erfindung als dritter Umgebungssensor bezeichnet wird. Dieser dient der im Wesentlichen spiegelsymmetrischen Erweiterung des Umgebungsbereiches entsprechend den vorstehenden Ausführungen zum ersten Umgebungssensor. Mit anderen Worten wird ein dritter Teilbereich des Umgebungsbereiches erfasst, anschließend ein drittes Teilbild des dritten Teilbereiches auf Basis eines Signals des dritten Umgebungssensors erzeugt und das dritte Teilbild und das zweite Teilbild entlang einer geraden dritten Fügelinie zusammengefügt. Dabei können die erste Fügelinie und die dritte Fügelinie insbesondere einander gegenüberliegende Grenzlinien des zweiten Teilbildes darstellen. Bevorzugt sind die erste Fügelinie und die dritte Fügelinie hierbei parallel zueinander orientiert. Erfindungsgemäß werden auch die Verzerrungen im Bereich der dritten Fügelinie verringert.
Um Artefakte, wie sie beispielsweise beim sog. „Alpha-Blending“ auftreten können, zu vermeiden, können die Teilbilder vor dem Zusammenfügen entlang der jeweiligen Fügelinie beschnitten werden. Eine erhebliche Überlappung, wie sie für bekannte Algorithmen beim Zusammenfügen unterschiedlicher Bilder erforderlich sind, kann erfindungsgemäß entfallen. Umso geringer ist auch die Anfälligkeit des erfindungsgemäßen Fügeverfahrens für Bildinhalte, welche bekannte Algorithmen regelmäßig an ihre Grenzen bringen. Mit anderen Worten kann das erste Teilbild entlang der ersten Fügelinie, das dritte Teilbild entlang der dritten Fügelinie und das zweite Teilbild entlang der ersten und der dritten Fügelinie von jeweils jenseits der Fügelinie befindlichen Bildanteilen bereinigt werden. Insofern, als die Perspektiven der verwendeten Sensoren im Fügebereich nahezu identisch sind, sind Verzerrungen unabhängig von Bildinhalten bzw. abgebildeten Objekten deutlich geringer als gemäß dem Stand der Technik.
Bevorzugt kann aus dem ersten Teilbild ein erster 2D-Datensatz erzeugt werden, welcher eine geeignete Perspektive eines Anwenders bei der Darbietung des 2D-Datensatzes auf einer zweidimensionalen Anzeigeeinheit bietet. Dabei wird der Inhalt des ersten Teilbildes auf eine virtuelle erste Projektionsfläche „umgerechnet“, um die unterschiedlichen Perspektiven der Umgebungssensoren zusammenzuführen. Entsprechend werden auch die Segmente des zweiten Teilbildes und das dritte Teilbild in jeweilige 2D-Datensätze umgerechnet, indem sie auf jeweilige geeignete virtuelle Projektionsflächen gelegt werden. Sofern das zweite Teilbild bislang dreidimensionale Daten enthielt, kann zunächst eine Perspektive bzw. ein geeigneter Abstand (Relativposition bezüglich des Fortbewegungsmittels) der Projektionsfläche dynamisch bestimmt werden. Hierzu hat es sich als vorteilhaft herausgestellt, die aktuelle Position eines im Bereich der Fügelinien enthaltenen Umgebungsobjektes für die Positionierung der Projektionsfläche zu berücksichtigen. Insbesondere kann der Abstand der Projektionsfläche vom Fortbewegungsmittel mit denjenigen des Abstandes des Umgebungsobjektes vom Fortbewegungsmittel im Wesentlichen identisch sein. Die Verzerrungen lassen sich durch diesen Zusammenhang abermals reduzieren.
Ebenfalls günstig für eine weitere Reduzierung der Verzerrungen wirken sich eine mit der ersten virtuellen Projektionsfläche korrespondierende zweite virtuelle Projektionsfläche aus. Mit anderen Worten weisen die Projektionsflächen im Bereich der Fügelinien identische Abstände vom Fortbewegungsmittel auf.
Die erste virtuelle Projektionsfläche kann eine konkave zylinderabschnittsartige Gestalt aufweisen, wobei sich der Anwender auf der Innenseite des Zylinders aufhält. Entsprechendes gilt für die zweite virtuelle Projektionsfläche und eine gegebenenfalls für einen 2D-Datensatz, welcher mittels eines dritten Umgebungssensors erstellt worden ist, verwendete dritte virtuelle Projektionsfläche. Insbesondere sind die jeweiligen zylinderabschnittsartigen Projektionsflächen auf einer gemeinsamen Zylinderfläche angeordnet, während sich der Anwender bzw. das Fortbewegungsmittel im Wesentlichen im Zylindermittelpunkt befindet.
Um mittels des vorbeschriebenen Verfahrens Innen-/Außenspiegel ersetzen zu können, ist ein Anzeigen zumindest eines Teils des erzeugten Abbildes des Umgebungsbereiches auf einer Anzeigeeinheit innerhalb des Fortbewegungsmittels erforderlich. Insbesondere kann die Anzeigeeinheit eine 2D-Anzeigeeinheit sein, welche in einem Armaturenbrett und/oder in einem Kombiinstrument des Fortbewegungsmittels angeordnet ist. Um den über das Abbild überwachten Bereich einerseits und die Bildauflösung andererseits in ein geeignetes Verhältnis zueinander zu bringen, hat sich ein auf der 2D-Anzeigeeinheit darzustellender Raumwinkelbereich zwischen Werten von 180° und 45°, insbesondere zwischen 120° und 60° und bevorzugt zwischen 100° und 80° bewährt. Im Bereich zwischen 78° und 90° wird der tote Winkel des Fortbewegungsmittels für den Fahrer eliminiert, wodurch sich die Akzeptanz der erfindungsgemäßen Abbildung des Umgebungsbereiches erhöht und das Mehr an Sicherheit für den Straßenverkehr erheblich steigt.
Bevorzugt kann eine Position des angezeigten Teils des Abbildes im Ansprechen auf jeweilige Fahrsituationen geändert werden. Während es für Außenspiegel bekannt ist, im Ansprechen auf das Einlegen eines Rückwärtsganges einen bordsteinnahen Bereich darzustellen, was auch erfindungsgemäß durch Modifikation des Winkelbereiches des angezeigten Teils des Abbildes möglich ist, wird in einer besonders bevorzugten Ausgestaltung vorgesehen, das Aktivieren eines Fahrtrichtungsanzeigers zum Anlass einer modifizierten Darstellung des Abbildes zu nehmen. Beispielsweise kann der jeweils beim Abbiegen relevante Seitenbereich erweitert werden, indem zusätzliche Anteile des jeweiligen Umgebungssensorsignals Einzug in die erfindungsgemäße Abbildung erhalten.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein Fahrerassistenzsystem vorgeschlagen, welches einen ersten Umgebungssensor, einen zweiten Umgebungssensor, eine Auswerteeinheit und eine 2D-Anzeigeeinheit umfasst. Die Auswerteeinheit kann beispielsweise einen programmierbaren Prozessor in Form eines Mikrocontrollers oder Nanocontrollers umfassen. Im automobilen Bereich werden solche Auswerteeinheiten auch als elektronische Steuergeräte (ECU) bezeichnet. Die 2D-Anzeigeeinheit kann beispielsweise als Matrix-Anzeige zur Montage in einem Armaturenbrett eines Fortbewegungsmittels und/oder in einem Kombiinstrument eines Fortbewegungsmittels vorgesehen sein. Für den ersten Umgebungssensor, den zweiten Umgebungssensor und einen optional verwendbaren dritten Umgebungssensor gilt das in Verbindung mit dem erstgenannten Erfindungsaspekt Gesagte entsprechend. Auf diese Weise ist das Fahrerassistenzsystem eingerichtet, die Merkmale, Merkmalskombinationen und die sich aus diesen ergebenden Vorteile entsprechend dem erstgenannten Erfindungsaspekt zu verwirklichen.
Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein Fortbewegungsmittel vorgeschlagen, welches beispielsweise als PKW, als Transporter, als LKW, als Wasser- und/oder Luftfahrzeug ausgestaltet sein kann. Erfindungsgemäß weist das Fortbewegungsmittel ein Fahrerassistenzsystem auf, wie es vorstehend beschrieben worden ist. Indem das Fortbewegungsmittel auf diese Weise dieselben Merkmale, Merkmalskombinationen und Vorteile verwirklicht, erhöht sich der Anwenderkomfort für den Anwender und die Verkehrssicherheit für alle im Bereich des Fortbewegungsmittels befindlichen Verkehrsteilnehmer.
Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den Figuren. Es zeigen:
1 eine Artefakt behaftete Abbildung einer Fahrsituation;
2 Komponenten eines Ausführungsbeispiels eines erfindungsgemäßen Fortbewegungsmittels;
3 erfindungsgemäß erstellte Teilbilder eines Umgebungsbereiches;
4 eine erfindungsgemäße Synthese der in 3 dargestellten Teilbilder; und
5 ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens.
1 zeigt eine gemäß dem Stand der Technik zusammengefügte Abbildung einer Fahrsituation, wie sie durch den Rückspiegel eines Ego-Fahrzeugs beobachtbar sein könnte. Auf der Straße hinter dem Ego-Fahrzeug fährt ein Fremdfahrzeug 13 als Umgebungsobjekt. Zudem säumen Häuser 19 den Straßenrand. Aufgrund der unterschiedlichen Position der verwendeten Kameras sind in einem Bildbereich 18 keine Bilddaten verfügbar. Aufgrund der verwendeten Fügeverfahren treten Artefakte 17 auf, welche zu Verzerrungen innerhalb des Abbildes führen.
2 zeigt eine schematische Draufsicht auf eine Fahrsituation eines Ausführungsbeispiels eines erfindungsgemäß ausgestalteten PKW 10 als Ego-Fortbewegungsmittel. Der PKW 10 bewegt sich in Fahrtrichtung P. Im Bereich seines rechten Kotflügels ist eine Außenkamera 1 als erster Umgebungssensor angeordnet, welcher einen azimutalen Winkelbereich von 65° erfasst. Entsprechend ist auf der linken Seite des PKW 10 eine Außenkamera 9 als dritter Umgebungssensor im Bereich des Kotflügels angeordnet. Mittig im Fahrzeugheck ist eine Stereokamera 2 angeordnet, welche durch eine weitere 2D-Außenkamera 20 ergänzt wird. Sämtliche Kameras 1, 2, 9, 20 sind mit einem elektronischen Steuergerät 16 als Auswerteeinheit informationstechnisch verbunden. Überdies ist ein Bildschirm 14 als 2D-Anzeigeeinheit an das elektronische Steuergerät 16 angeschlossen. Um die mittels der Kameras 1, 2, 9, 20 erfassten Informationen verzerrungsarm zu einem Abbild der Umgebung IV zusammenzufügen, wird aus den Bildern der Stereokamera 2 und der 2D-Außenkamera 20 eine Vielzahl Datenpakete errechnet, deren Perspektiven virtuellen Sensoren 3 entsprechen, welche im Wesentlichen auf einer Linie entlang der heckseitigen Stoßfänger des PKW 10 angeordnet sind. Zur besseren Kenntlichmachung ist eine Senkrechte 6 eingezeichnet, welche senkrecht auf den Fügelinien 4, 5 bzw. Fügeflächen (in Richtung senkrecht zur Bildebene) steht. Jeweilige konische Erfassungsbereiche der virtuellen Sensoren 3 sind gestrichelt kenntlich gemacht. Die Kernbereiche 7 der Erfassungsbereiche bilden Segmente, welche entlang zweiter Fügelinien 8 zu einem Abbildung II‘ des Teilbereiches II zusammengesetzt werden können. Indem die jeweilige Perspektive der äußerst gelegenen virtuellen Sensoren 3 auf die erste Fügelinie 4 bzw. die dritte Fügelinie 5 identisch mit der Perspektive der Außenkameras 1 bzw. 9 ist, ergeben sich beim Fügen der Abbilder I‘, II‘ und III‘ der Teilbereiche I, II, III nur reduzierte Unregelmäßigkeiten. Um diesen Effekt weiter zu verstärken, sind virtuelle Projektionsflächen 11, 12 eingezeichnet, welche auf einer gemeinsamen zylindrischen Oberfläche angeordnet sind. Der Abstand der zylindrischen Projektionsfläche 12 ist dabei derart gewählt, dass er im Wesentlichen mit dem Abstand eines Fremdfahrzeugs 13 als Umgebungsobjekt übereinstimmt. Ein auf dem Bildschirm 14 dargestelltes Abbild IV‘ des Umgebungsbereiches IV wird in Abhängigkeit eines Betriebszustandes eines Fahrtrichtungsanzeigers 15 gewählt, um für den Fahrer des PKW 10 besonders relevante Umgebungsbereiche bevorzugt darzustellen. Da in dem Bereich zwischen den Außenkameras 1, 9 und den virtuellen Sensoren 3 keine Bilddaten vorliegen (in diesem Bereich befindet sich das Ego-Fahrzeug), kann hier auch nicht sinnvollerweise ein Bildsignal generiert werden (s. Bezugszeichen 18 in 1).
3 zeigt drei Teilbilder I‘, II‘, III‘, in welchen ein Fremdfahrzeug 13 als Umgebungsobjekt im Bereich einer ersten Fügelinie 4 angeordnet ist. Die jeweils im ersten Teilbild I‘ bzw. im zweiten Teilbild II‘ befindlichen Teile des Fremdfahrzeugs 13 sind im Wesentlichen einander entsprechend ausgestaltet. Ein Zusammenfügen ist daher problemlos möglich und ein Minimum an Unregelmäßigkeiten zu erwarten. Erkennbar bietet der bislang datenleere Bereich 18 innerhalb der Teilbilder I‘, II‘, III‘ Gelegenheit, entweder Teile des Ego-Fortbewegungsmittels und/oder zusätzliche Hinweis an dessen Anwender einzublenden.
4 zeigt das Ergebnis eines erfindungsgemäß durchgeführten Fügeprozesses unter Verwendung der in 3 gezeigten Teilbilder I‘, II‘, III‘. Die zusammengefügte Abbildung IV‘ des Umgebungsbereiches weist eine Vielzahl per virtueller Sensoren 3 aufgenommener Bildsegmente 7 auf, welche lediglich als leichte Variationen bezüglich der Bildhelligkeit in Erscheinung treten könnten (in der Zeichnung nicht dargestellt). Sowohl die Konturen als auch die Perspektiven auf die unterschiedlichen Bereiche des Fremdfahrzeugs 13 entsprechen einander erheblich besser, als in der Darstellung gemäß 1. Auf diese Weise ist ein für Kunden akzeptabler und normkonformer Ersatz für Außen-/Innenspiegel geschaffen.
5 zeigt Verfahrensschritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens. Dabei werden im Schritt 100 ein erster Teilbereich, ein zweiter Teilbereich und ein dritter Teilbereich des Umgebungsbereiches eines Fortbewegungsmittels jeweiliger Umgebungssensoren umfasst. Die Umgebungssensoren können beispielsweise optische Kameras umfassen. Insbesondere der zweite Umgebungssensor zur Erfassung des zweiten Teilbereiches kann eine Stereokamera umfassen bzw. anderweitig eingerichtet sein, ein 3D-Abbild des zweiten Teilbereichs zu erstellen. In Schritt 200 werden ein erstes Teilbild, ein zweites Teilbild und ein drittes Teilbild auf Basis der Signale der Umgebungssensoren erzeugt. Anschließend werden die Teilbilder zurechtgeschnitten, um erfindungsgemäß nicht erforderliche Überlappungen in den Bereichen einer ersten und einer dritten Fügelinie zu vermeiden. Auf Basis der zurechtgeschnittenen Teilbilder werden in Schritt 400 ein erster, ein zweiter und ein dritter 2D-Datensatz aus den Teilbildern generiert. Hierzu werden eine erste, eine zweite und eine dritte Projektionsfläche verwendet, welche auf einer gemeinsamen Zylinderoberfläche (nämlich auf der Innenseite desselben Zylinders) liegen. Der Radius des Zylinders bestimmt sich hierbei anhand eines im zweiten Teilbereich enthaltenen Umgebungsobjektes. In Schritt 500 werden das erste und das zweite Teilbild sowie das zweite und dritte Teilbild entlang einer jeweiligen geraden Fügelinie zusammengefügt, wobei die Fügelinien zueinander parallel angeordnet sind. Im nun zusammengefügten Abbild des Umgebungsbereiches sind die Fügelinien vertikal orientiert. In Schritt 600 wird ein Teil des Abbildes zur Anzeige auf einer 2D-Anzeigeeinheit ausgewählt, welcher einem azimutalen Winkelbereich von 81° entspricht. Auf diese Weise besteht für den Anwender des Verfahrens kein toter Winkel mehr neben seinem Fortbewegungsmittel. In Schritt 700 wird aufgrund einer beabsichtigten Kurvenfahrt ein Fahrtrichtungsanzeiger betätigt, im Ansprechen worauf eine Position des Teils innerhalb des Abbildes des Umgebungsbereiches variiert wird, um das Kurveninnere der anstehenden Kurvenfahrt besser auf der 2D-Anzeigeeinheit abzubilden. Hierzu wird der angezeigte Winkelbereich entweder erweitert oder derart geschwenkt, dass bislang dargestellte Bereiche an einem gegenüberliegenden Randbereich kurzfristig nicht mehr angezeigt werden.
Erfindungsgemäß werden alle für den Fahrer notwendigen seitlichen und(oder rückwärtigen Sichtfelder durch ein über Umgebungssensoren generiertes Panoramabild abgedeckt. Dadurch werden auch die gesetzlichen Mindestsichtfelder sowie maximal zulässigen Verzerrungen eingehalten, wie sie u.a. in der Norm ECE-R46 festgelegt sind. Das Panoramabild entsteht durch die günstige Positionierung des Kameramodells und ersetzt bevorzugt sämtliche Spiegel des erfindungsgemäß ausgestalteten Fortbewegungsmittels.
In einem Ausführungsbeispiel der vorliegenden Erfindung werden das erste und das dritte Teilbild aus der Perspektive der vorderen Seite eines Fahrzeugs in der Weise beschnitten, dass die Fahrzeugkonturen nicht mehr im Bestandteil des jeweiligen Bildes enthalten sind. Die Heckkamera ist als Stereokamera ausgestaltet, welche eine Tiefenlandkarte (Disparitätskarte) erzeugt. Selbstverständlich können die Informationen der Disparitätskarte auch über zusätzliche (z.B. nicht-optische) Sensoren erhalten werden. Auf die 3D-Informationen wird das ursprüngliche Bild der 2D-Bildinformationen gelegt. Nun werden im Erfassungsbereich der Stereokamera mehrere virtuelle Kameras erzeugt, die sehr eng nur den jeweiligen Bereich hinter dem Fahrzeug in der Breite des Fahrzeugs erfassen sollen. Durch Beschnitt der 3D-Bildinformation resultiert ein „Fahrschlauch“ (bei gedachter gerader Fahrtrichtung) in Fahrzeugbreite hinter dem Ego-Fahrzeug. Als letzter Schritt werden die seitlichen Kameras auf eine zylindrische Fläche projiziert und nahtlos an den mittigen Fahrschlauch angefügt.
Durch das erfindungsgemäß erzeugte Panoramabild kann das Sichtfeld des Fahrers erweitert werden. Erfindungsgemäß gibt es keine Sichtverdeckung durch Fahrzeugteile. Es gibt aufgrund der erfindungsgemäßen Beschneidung der Teilbilder auch keine redundanten Bildinhalten zwischen den einzelnen Sichtfeldern. Das Panoramabild ermöglicht eine signifikant bessere Darstellung von Umgebungsinformationen zur Fahrerassistenz. Die Panoramadarstellung ermöglicht es, entweder bei gleichem absoluten Sichtfeld einen einzelnen kleineren Monitor zu verwenden, was Kostenvorteile, Gewichtsvorteile und Volumenvorteile mit sich bringt, oder die Darstellung eines größeren Sichtfeldes auf einem einzelnen Monitor gegebener Größe. Durch den Einsatz eines großen azimutalen Sichtwinkels von mind. 78° ist es überdies möglich, den Totwinkelbereich zu verringern bzw. zu eliminieren.
Bezugszeichenliste

1: Außenkamera
2: Stereokamera
3: virtuelle Sensoren
4: erste Fügelinie
5: dritte Fügelinie
6: Senkrechte auf den Fügelinien 4, 5
7: Segmente
8: zweite Fügelinien
9: Außenkamera
10: PKW
11, 12: Projektionsfläche
13: Fremdfahrzeug
14: Bildschirm
15: Fahrtrichtungsanzeiger
16: elektronisches Steuergerät (Auswerteeinheit)
17: Artefakte
18: datenloser Bildbereich
19: Häuser
20: 2D-Außenkamera
100–700: Verfahrensschritte
I: erster Teilbereich
I‘: erstes Teilbild
II: zweiter Teilbereich
II‘: zweites Teilbild
III: dritter Teilbereich
III‘: drittes Teilbild
IV: Umgebungsbereich
IV‘: Abbild des Umgebungsbereiches
P: Pfeil (Fahrtrichtung)

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102011079913 [0003]
DE 102010023591 [0004]
US 7139412 [0005]
US 6476855 [0006]
WO 1999/015360 A1 [0007]

Zitierte Nicht-Patentliteratur

ECE-R46 [0011]
Norm ECE-R46 [0034]

Claims

Verfahren zum Zusammenfügen von Teilbildern (I‘, II‘, III‘) zu einem Abbild (IV‘) eines zusammenhängenden Umgebungsbereiches (IV) eines Fortbewegungsmittels (10) umfassend die Schritte: – Erfassen (100) eines ersten Teilbereiches (I) des Umgebungsbereiches (IV) mittels eines ersten Umgebungssensors (1), – Erfassen (100) eines zweiten Teilbereiches (II) des Umgebungsbereiches (IV) mittels eines zweiten Umgebungssensors (2), – Erzeugen (200) eines ersten Teilbildes (I‘) des ersten Teilbereiches (I) auf Basis eines Signals des ersten Umgebungssensors (1), – Erzeugen (200) eines zweiten Teilbildes (II‘) des zweiten Teilbereiches (II) auf Basis eines Signals des zweiten Umgebungssensors (2) und einer Vielzahl virtueller Sensoren (3) zur Erfassung des zweiten Teilbereiches (II), – Zusammenfügen (500) des ersten Teilbildes (I‘) und des zweiten Teilbildes (II‘) entlang einer geraden ersten Fügelinie (4), wobei die virtuellen Sensoren (3) an Positionen im Wesentlichen auf einer Senkrechten (6) zur ersten Fügelinie (4) angeordnet sind.
Verfahren nach Anspruch 1, wobei ein virtueller Sensor (3) in unmittelbarer Nähe der ersten Fügelinie (4) angeordnet ist.
Verfahren nach Anspruch 1 oder 2, wobei die virtuellen Sensoren (3) horizontal zueinander beabstandet angeordnet sind.
Verfahren nach einem der vorstehenden Ansprüche, wobei das zweite Teilbild (II‘) jeweils einem virtuellen Sensor (3) zugeordnete Segmente (7) umfasst, welche entlang zur ersten Fügelinie (4) im Wesentlichen parallel verlaufender zweiter Fügelinien (8) aneinander gefügt sind.
Verfahren nach einem der vorstehenden Ansprüche, wobei der erste Umgebungssensor (1) ein 2D-Sensor, und/oder der zweite Umgebungssensor (2) eine 3D-Sensoranordnung ist.
Verfahren nach einem der vorstehenden Ansprüche, wobei die Umgebungssensoren (1, 2, 9, 20), insbesondere sämtliche Umgebungssensoren (1, 2, 9, 20), optische Sensoren umfassen.
Verfahren nach einem der vorstehenden Ansprüche weiter umfassend – Erfassen (100) eines dritten Teilbereiches (III) des Umgebungsbereiches (IV) mittels eines dritten Umgebungssensors (III), – Erzeugen (200) eines dritten Teilbildes (III‘) des dritten Teilbereiches (III) auf Basis eines Signals des dritten Umgebungssensors (9), und – Zusammenfügen (500) des dritten Teilbildes (III‘) und des zweiten Teilbildes (II‘) entlang einer geraden dritten Fügelinie (5), wobei die erste Fügelinie (4) und die dritte Fügelinie (5) insbesondere einander gegenüberliegende Grenzlinien des zweiten Teilbildes (II‘) darstellen.
Verfahren nach einem der vorstehenden Ansprüche, weiter umfassend – Entfernen (300) eines potentiell jenseits der ersten Fügelinie (4) befindlichen Bereiches des ersten Teilbildes (I‘) vor dem Zusammenfügen, und/oder – Entfernen (300) potentiell jenseits der ersten Fügelinie (4) und/oder der dritten Fügelinie (5) befindlicher Bereiche des zweiten Teilbildes (II‘) vor dem Zusammenfügen, und/oder – Entfernen (300) eines potentiell jenseits der dritten Fügelinie (5) befindlichen Bereiches des dritten Teilbildes (III‘) vor dem Zusammenfügen.
Verfahren nach einem der vorstehenden Ansprüche, weiter umfassend den Schritt – Erzeugen (400) eines ersten 2D-Datensatzes aus dem ersten Teilbild (I‘) bezüglich einer virtuellen ersten Projektionsfläche (11), und/oder – Erzeugen (400) eines zweiten 2D-Datensatzes aus dem zweiten Teilbild (II‘) bezüglich einer virtuellen zweiten Projektionsfläche (12), wobei insbesondere eine Position eines Umgebungsobjektes (13) relativ zum Fortbewegungsmittel (10) eine Position der Projektionsfläche (11, 12) dynamisch bestimmt.
Verfahren nach Anspruch 9, wobei die erste virtuelle Projektionsfläche (11) an der ersten Fügelinie (4) mit der zweiten virtuellen Projektionsfläche (12) korrespondiert.
Verfahren nach Anspruch 9 oder 10, wobei die erste virtuelle Projektionsfläche (11) eine konkave zylinderabschnittsartige Gestalt aufweist, und/oder die zweite virtuelle Projektionsfläche (12) eine konkave zylinderabschnittsartige Gestalt aufweist, wobei insbesondere die jeweilige zylinderabschnittsartige Gestalt einem gemeinsamen Zylinder zugehören.
Verfahren nach einem der vorstehenden Ansprüche, weiter umfassend – Anzeigen (600) eines Teils des Abbildes (IV‘) auf einer 2D-Anzeigeeinheit (14) innerhalb des Fortbewegungsmittels (10), wobei der Teil des Abbildes (IV‘) einen Winkelbereich zwischen 180° und 45°, insbesondere zwischen 120° und 60°, bevorzugt zwischen 100° und 80° wiedergibt.
Verfahren nach Anspruch 12, weiter umfassend – Variieren (700) einer Position des Teils des Abbildes (IV‘) im Ansprechen auf eine Fahrsituation, welche insbesondere durch das Aktivieren eines Fahrtrichtungsanzeigers (15) und/oder das Vorbereiten einer Rückwärtsfahrt erkannt wird.
Fahrerassistenzsystem umfassend – einen ersten Umgebungssensor (1), – einen zweiten Umgebungssensor (2), – eine Auswerteeinheit (16), und – eine 2D-Anzeigeeinheit (14), wobei das Fahrerassistenzsystem eingerichtet ist, ein Verfahren gemäß einem der vorstehenden Ansprüche auszuführen.
Fortbewegungsmittel, insbesondere ein PKW, ein Transporter, ein LKW, ein Wasser-und/oder Luftfahrzeug, umfassend ein Fahrerassistenzsystem nach Anspruch 14.