-
Die vorliegende Erfindung betrifft ein Verfahren zum Zusammenfügen von Teilbildern zu einem Abbild eines zusammenhängenden Umgebungsbereichs eines Fahrzeugs. Insbesondere betrifft die vorliegende Erfindung hierbei ein dynamisches Zusammenfügen von Teilbildern zur Vermeidung von Verzerrungen im Bereich einer Fügelinie bzw. von Fügelinien. Die vorliegende Erfindung betrifft dabei außerdem ein Fahrerassistenzsystem unter Verwendung des Verfahrens zum Zusammenfügen von Teilbildern sowie ein mit einem vorstehenden Fahrerassistenzsystem ausgestattetes Fahrzeug.
-
Um den Betrieb von Fahrzeugen komfortabler und sicherer zu machen, werden Fahrerassistenzsysteme verwendet, die über Sensoren Umgebungssignale aufnehmen und dem Fahrer Abbilder der Umgebung darstellen. Beispielsweise ist bekannt, zur Überwachung eines rückseitigen Verkehrsraums Kameras zur Bildaufnahme vorzusehen, deren Bilder dem Fahrer an einem Display wiedergegeben werden.
-
Aus der
WO 99/15 360 A1 ist eine Seheinrichtung mit Kameras zur Überwachung des rückseitigen Verkehrsraums für ein Fahrzeug bekannt, bei der mindestens eine Kamera an einer Seite des Fahrzeugs angeordnet ist. Die Seheinrichtung ermöglicht z.B. den Ersatz bisheriger Außen- und Innenrückspiegel im Kraftfahrzeug durch den Einsatz von Bildaufnahmesensoren und dient z.B. als Einparkhilfe und zur Reduzierung von Windgeräuschen auf ein Minimum.
-
Obwohl Kameras ein radiales, dreidimensionales (3D) Feld aufzeichnen, wird die Darstellung auf einem Display in eine flache Ebene verzerrt, wobei sich der Abstand zu Objekten speziell in den toten Winkeln nicht so leicht einschätzen lässt. In einer fusionierten Anzeige dreier Sichtfelder (Spiegel, nämlich zweier Außenrückspiegel und einem Innenrückspiegel), ist es notwendig, die Zuordnung oder auch Relativposition des Ego-Fahrzeugs durch ein entsprechendes Anzeigekonzept bereitzustellen. Um Rückspiegel nicht nur kundentauglich, sondern auch zulassungstauglich entfallen lassen zu können, sind dabei festgelegte Bildqualitäten auch und insbesondere im Bereich der Fügelinien zusammengefügter Teilbilder gesetzlich vorgeschrieben.
-
Aus der
DE 10 2014 213 536 A1 ist ein Fahrerassistenzsystem und ein Verfahren zum Zusammenfügen von Teilbildern zu einem Abbild eines zusammenhängenden Umgebungsbereichs eines Fahrzeugs bekannt, bei dem eine aus drei Sichtfeldern zusammengesetzte Anzeige weitgehend entzerrt ohne unerwünschtes Auftreten von Artefakten beim Zusammensetzen dreier Sichtfelder bereitgestellt wird. Bei diesem Verfahren werden jeweils von zwei 2D-Außenkameras und einer am Fahrzeugheck angeordneten Stereokamera erfasste, sich überlappende Bereiche unter Verwendung bekannter Bildverarbeitungstechniken wie Warping, Scaling, Alpha-Blending und Sichtstrahlen-Interpolation mittels Net-Flow Verfahren entlang definierter Fügelinien zusammengesetzt, die im Wesentlichen senkrecht zu einer Linie entlang der heckseitigen Stoßfänger eines Fahrzeugs definiert sind, wobei aus den Bildern der Stereokamera in Zusammenwirken mit einer weiteren am Fahrzeugheck angeordneten 2D-Kamera eine Vielzahl von Datenpakete errechnet werden, deren Perspektiven virtuellen Sensoren entsprechen. Hierbei ist die Perspektive der äußerst gelegenen virtuellen Sensoren auf die Fügelinien identisch mit der Perspektive der jeweiligen Außenkamera, so dass die beiden Fügelinien statisch symmetrisch zueinander parallel angeordnet sind. Die beiden Außenkameras liefern dabei zu dem Abbild des zusammengesetzten Umgebungsbereichs entsprechend dem dargestellten Teilbereich der anderen Kamera jeweils im Wesentlichen eine spiegelsymmetrische Erweiterung des von der am Fahrzeugheck angeordneten Kamera erfassten Umgebungsbereichs.
-
Bei dem aus der
DE 10 2014 213 536 A1 bekannten Verfahren werden zwar gesetzliche Mindestsichtfelder sowie maximal zulässige Verzerrungen des Abbilds eines zusammengesetzten Umgebungsbereichs, wie sie u.a. in der ECE-R/46 festgelegt sind, überwiegend eingehalten und ein weitreichend verzerrungsarmes Abbild bereitgestellt; allerdings ist bei diesem Verfahren die 3D Rekonstruktion durch kostenintensive Sensoren zur Erfassung der Tiefe sehr aufwendig und zeitintensiv. Außerdem ist dieses bekannte Verfahren unzuverlässig, nachdem nach wie vor eine beträchtliche Anzahl unerwünschter Artefakte auftritt.
-
DE 10 2013 211 271 A1 offenbart ein Verfahren zum Zusammenfügen einer Abbildung eines Umfeldes eines Fortbewegungsmittels. Über zwei optische Sensoren werden Umgebungsbereiche enthaltend ein Umgebungsobjekt abgelichtet. Wenn sich das Umgebungsobjekt auf einer Fügelinie und unterhalb eines vordefinierten Mindestabstandes befindet, wird eine Fügelinie derart neu definiert, dass sie nicht durch das Objekt verläuft.
-
Aufgabe der vorliegenden Erfindung ist daher ein verbessertes kostengünstiges Verfahren zum Zusammenfügen von Teilbildern zu einem Abbild eines zusammenhängenden Umgebungsbereichs eines Fahrzeugs bereitzustellen, das weitestgehend entzerrt ist, und in dem Artefakte minimiert sind. Hierbei ist außerdem Aufgabe der Erfindung, ein entsprechendes für das vorstehende Verfahren geeignetes Fahrerassistenzsystem und ein Fahrzeug hierfür anzugeben.
-
Die Aufgabe wird mit den Merkmalen der nebengeordneten Ansprüche gelöst. Vorteilhafte Ausführungen der Erfindung sind in den Merkmalen der Unteransprüche und/oder der nachfolgenden Beschreibung erwähnt.
-
Die vorliegende Erfindung betrifft dabei insbesondere ein Verfahren zum Zusammenfügen von Teilbildern zu einem Abbild eines zusammenhängenden Umgebungsbereichs eines Fahrzeugs.
-
Hierzu wird in einem ersten Schritt ein erster Teilbereich des Umgebungsbereichs mittels eines ersten Umgebungssensors erfasst. Der Umgebungsbereich kann dabei beispielsweise ein rückwärtiger Bereich des Fahrzeugs sein, der in etwa mit einem Bereich hinter der vorderen Stoßstange eines Fahrzeugs und links oder rechts des Fahrzeugs liegt. Der erste Umgebungssensor kann beispielsweise eine zweidimensionale (2D), optische Kamera sein. Diese kann im Bereich eines Kotflügels und/oder eines Außenspiegels eines Fahrzeugs angeordnet sein.
-
Zusätzlich wird ein zweiter Teilbereich, der zumindest nicht vollständig identisch mit dem ersten Teilbereich ist, desselben Umgebungsbereichs mittels eines zweiten Umgebungssensors erfasst. Der zweite Umgebungssensor kann ebenfalls ein optischer Sensor und wie der erste Umgebungssensor ebenfalls eine zweidimensionale (2D), optische Kamera sein. Hierbei sind der erste und zweite Umgebungssensor derart ausgebildet und/oder angeordnet, dass sie jeweils einen Bereich des ersten und zweiten Teilbereichs gemeinsam erfassen, so dass für den von beiden Sensoren gemeinsam erfassten Bereich mehr als eine Perspektive vorliegt.
-
Außerdem wird wenigstens der vorstehende von dem ersten und zweiten Umgebungssensor gemeinsam erfasste Bereich zudem mittels eines weiteren Umgebungssensors erfasst, der von einer Sensoranordnung bereitgestellt ist. Der weitere Umgebungssensor kann dabei eine zweidimensionale (2D), optische Kamera sein, die geeignet ist, eine Farb-/Graustufensegmentierung einer Kontur eines Objekts zu erfassen. Der mittels der Sensoranordnung bereitgestellte weitere Umgebungssensor kann dabei insbesondere vorteilhaft auch eine 3D-Sensoranordnung sein, die besonders geeignet ist, ein 3D-Abbild des von ihr erfassten Bereichs und insbesondere ein 3D-Abbild eines darin wenigstens teilweise befindlichen Objekts zu erfassen.
-
Insbesondere durch die vorstehende Objekterkennung wird die Möglichkeit geschaffen, ein kritisches Objekt, das insbesondere ein Fahrzeug sein kann, zu erkennen und als geschützten (nicht zerlegten) Bereich in ein Koordinatensystem der Visualisierung zu überführen. Als kritisches Objekt wird hier wie im gesamten Kontext der Anmeldung insbesondere ein Fahrzeug mit besonderem Interesse oder mit Gefahrenpotential für die jeweilige Fahrsituation bezeichnet.
-
In einem weiteren Schritt des Verfahrens wird ein erstes Teilbild des ersten Teilbereichs auf Basis eines Signals des ersten Umgebungssensors und ein zweites Teilbild des zweiten Teilbereichs auf Basis eines Signals des zweiten Umgebungssensors erstellt, die korrespondierend mit dem vorstehenden von beiden 2D-Sensoren gemeinsam erfassten Bereich jeweils ebenfalls ein gemeinsames Teilbild umfassen.
-
In einem weiteren Schritt wird eine erste Fügelinie zwischen dem ersten und zweiten Teilbild unter Berücksichtigung eines Signals des weiteren Umgebungssensors und insbesondere der 3D-Sensoranordnung dynamisch festgelegt. Hierbei wird die Fügelinie hinsichtlich ihrer Form/ihres Verlaufes und/oder ihrer Position festgelegt.
-
Die dynamische Festlegung der Fügelinie erfolgt dabei insbesondere unter Berücksichtigung eines von dem weiteren Umgebungssensor und insbesondere der (3D-)Sensoranordnung erfassten kritischen Objekts, das wie vorstehend beschrieben als geschützter Bereich in dem ersten oder zweiten Teilbild abgebildet wird.
-
In einem weiteren Schritt wird das erste und zweite Teilbild entlang der ersten Fügelinie zu einem Abbild des Umgebungsbereichs zusammengefügt.
-
Nach einer vorteilhaften Ausführung kann bei dem Verfahren außerdem ein dritter Teilbereich des Umgebungsbereichs mittels eines dritten Umgebungssensors erfasst werden, wobei der zweite und dritte Teilbereich einen von dem zweiten und dritten Umgebungssensor zweiten gemeinsam erfassten Bereich umfasst, der vorteilhaft außerdem von dem weiteren Umgebungssensor und insbesondere der 3D-Sensoranordnung erfasst wird.
-
Dabei wird geeigneter Weise ein drittes Teilbild des dritten Teilbereichs auf Basis eines Signals des dritten Umgebungssensors erzeugt und eine zweite Fügelinie zwischen dem zweiten und dritten Teilbild unter Berücksichtigung eines Signals des weiteren Umgebungssensors und insbesondere der 3D-Sensoranordnung dynamisch festgelegt und dabei ein von der zweiten Fügelinie begrenzter Bereich dem zweiten oder dritten Teilbild dynamisch zugeordnet. Außerdem wird hierbei das zweite und dritte Teilbild entlang der vorstehenden zweiten Fügelinie zu einem Abbild des Umgebungsbereichs zusammengefügt.
-
Mittels des dritten Umgebungssensors wird der erfasste Bereich des interessierenden Umgebungsbereiches wie dessen Abbild erweitert. Der dritte Umgebungssensor kann also beispielsweise einen Umgebungsbereich erfassen, welcher dem ersten Umgebungsbereich bezüglich des zweiten Umgebungsbereiches gegenüberliegt. Die Entsprechung des ersten Umgebungsbereiches und des dritten Umgebungsbereiches jeweils bezüglich des zweiten Umgebungsbereiches bzw. der ersten Fügelinie und der zweiten Fügelinie etc. ist derart ersichtlich, dass auf die Erläuterungen bezüglich der jeweils erstgenannten Merkmale verwiesen werden kann.
-
Die dynamische Festlegung der ersten Fügelinie zwischen dem ersten und zweiten Teilbild erfolgt vorteilhaft entlang eines Abbilds eines Objekts in dem ersten und/oder zweiten Teilbild erfolgen, wobei das Objekt von dem weiteren Umgebungssensor und insbesondere der 3D-Sensoranordnung zumindest teilweise in dem ersten gemeinsamen Teilbereich erfasst wird, und wobei außerdem der von der ersten Fügelinie begrenzte Bereich mit dem Abbild eines Objekts dem ersten oder zweiten Teilbild zugeordnet wird. Dabei wird in geeigneter Weise die erste und/oder zweite Fügelinie unter Berücksichtigung einer Größe und/oder Helligkeit eines Objekts und/oder einer Fahrtrichtung des Fahrzeugs und/oder einer Bewegungsrichtung eines Objekts und/oder einer Relativbewegungsrichtung eines Objekts zu dem Fahrzeug und/oder einer Geschwindigkeit des Fahrzeugs und/oder einer Geschwindigkeit eines Objekts und/oder einer Relativgeschwindigkeit eines Objekts zu dem Fahrzeug dynamisch festgelegt.
-
Nach einer weiteren vorteilhaften Ausführung des erfindungsgemäßen Verfahrens erfolgt die dynamische Festlegung der zweiten Fügelinie zwischen dem zweiten und dritten Teilbild entlang eines Abbilds eines Objekts in dem zweiten und/oder dritten Teilbild, wobei das Objekt von dem weiteren Umgebungssensor und insbesondere der 3D-Sensoranordnung zumindest teilweise in dem zweiten gemeinsamen Teilbereich erfasst wird, wobei außerdem der von der zweiten Fügelinie begrenzte Bereich mit dem Abbild eines Objekts dem zweiten oder dritten Teilbild zugeordnet wird.
-
Hierdurch wird insbesondere die Möglichkeit geschaffen, wie vorstehend gesagt ein kritisches Objekt zu erkennen und als geschützten (nicht zerlegten) Bereich in ein auf einem Bildschirm angezeigtes Abbild eines Umgebungsbereichs zu überführen. Außerdem kann die Zuordnung des Abbilds eines Objekts individuell für jedes Teilbild unabhängig symmetrisch oder asymmetrisch zu den anderen Teilbildern vorgenommen werden.
-
Dabei wird geeigneter Weise bevorzugt auch die Position eines Objekts relativ zum Fahrzeug festgelegt.
-
Bei dem erfindungsgemäßen Verfahren kann die erste und/oder zweite Fügelinie des Umgebungsbereichs geeigneter Weise als vertikale oder gegenüber einer Vertikalen geneigte Linie ausgebildet sein, die außerdem wenigstens in einem Teilbereich als Polygon entlang der Umrisse des Abbilds eines Objekts ausgebildet sein kann, und die außerdem idealer Weise ein Schnitt entlang den Konturen eines kritischen Objekts sein kann.
-
Nach dem erfindungsgemäßen Verfahren kann als erster, zweiter und dritter Umgebungssensor geeigneter Weise ein optischer 2D-Sensor verwendet werden und als 3D-Sensoranordnung eine Stereokamera oder insbesondere ein Radarsensor oder ein Lidarsensor oder ein Ultraschallsensor verwendet werden, wobei die Festlegung der ersten und zweiten Fügelinie dynamisch für jeden Frame erfolgt und/oder die Zuordnung des von der ersten und zweiten Fügelinie begrenzten Bereichs mit dem Abbild eines Objekts jeweils zu dem ersten oder zweiten Teilbild und/oder zu dem zweiten oder dritten Teilbild dynamisch für jeden Frame in Abhängigkeit der Bildfrequenz einer Bildsequenz individuell erfolgen kann. Hierdurch kann vorteilhaft ein Informationsverlust in der Anzeige vermieden werden und die Anzeige der einzelnen Abbilder einer Bildsequenz auf flüssige Weise erfolgen.
-
Geeigneter Weise wird bei dem erfindungsgemäßen Verfahren außerdem ein potentiell jenseits der ersten Fügelinie befindlicher Bereich des ersten Teilbilds vor dem Zusammenfügen entfernt, und/oder es wird ein potentiell jenseits der ersten Fügelinie und/oder der zweiten Fügelinie befindlicher Bereich des zweiten Teilbilds vor dem Zusammenfügen entfernt, und/oder es wird ein potentiell jenseits der zweiten Fügelinie befindlicher Bereich des dritten Teilbilds vor dem Zusammenfügen entfernt. Auf diese Weise werden überflüssige Bilddaten vermieden und die Geschwindigkeit des Verfahrens und die Präzision des Verfahrens und des Abbilds insbesondere auch vor diesbezüglichen Beeinträchtigungen vorteilhaft geschützt.
-
Geeigneter Weise kann bei dem erfindungsgemäßen Verfahren außerdem vor dem Zusammenfügen ein erster 2D-Datensatz aus dem ersten Teilbild bezüglich einer ersten virtuellen Projektionsfläche erzeugt werden, und/oder es kann ein zweiter 2D-Datensatz aus dem zweiten Teilbild bezüglich einer zweiten virtuellen Projektionsfläche erzeugt werden, und/oder es kann ein dritter 2D-Datensatz aus dem dritten Teilbild bezüglich einer dritten virtuellen Projektionsfläche erzeugt werden, so dass die auf die erste und/oder zweite und/oder dritte Projektionsfläche projizierten Datensätze dem Anwender eine geeignete Perspektive auf die zusammengeführten unterschiedlichen Perspektiven der Umgebungssensoren bieten.
-
Dabei kann eine vorteilhafte Position der jeweiligen Projektionsfläche ebenfalls vorteilhaft unter Berücksichtigung einer Größe und/oder Helligkeit eines Objekts und/oder Position eines Objekts relativ zum Fahrzeug und/oder einer Fahrtrichtung des Fahrzeugs und/oder einer Bewegungsrichtung eines Objekts und/oder einer Relativbewegungsrichtung eines Objekts zu dem Fahrzeug und/oder einer Geschwindigkeit des Fahrzeugs und/oder einer Geschwindigkeit eines Objekts und/oder einer Relativgeschwindigkeit eines Objekts zu dem Fahrzeug dynamisch auch für jeden Frame einzeln bestimmt werden.
-
Dabei korrespondiert die erste und dritte virtuelle Projektionsfläche jeweils an der ersten und zweiten Fügelinie mit der zweiten virtuellen Projektionsfläche, wobei die erste und/oder zweite und/oder dritte virtuelle Projektionsfläche geeigneter Weise eine konkave zylinderabschnittsartige Gestalt aufweisen kann, wobei sich der Anwender innerhalb des Zylinders aufhält, und wobei insbesondere die jeweilige zylinderabschnittsartige Gestalt einem gemeinsamen Zylinder zugehören, während sich der Anwender bzw. das Fahrzeug im Wesentlichen im Zylindermittelpunkt befindet.
-
Mittels des vorstehend beschriebenen erfindungsgemäßen Verfahrens werden kritische Objekte vorteilhaft beim Zusammenfügen von Teilbildern verschiedener Umgebungssensoren mit unterschiedlichen Perspektiven nicht mehr zerschnitten, diesbezügliche Informationsverluste vermieden und Bildfehler beim Beschneiden und Zusammenfügen der Teilbilder minimiert, so dass eine insgesamt stimmige Anzeige bereitgestellt wird.
-
Die vorliegende Erfindung betrifft außerdem insbesondere ein Fahrerassistenzsystem mit einem ersten Umgebungssensor, einem zweiten Umgebungssensor, einem weiteren Umgebungssensor, der insbesondere vorteilhaft eine 3D-Sensoranordnung sein kann, einer Auswerteeinheit, und einer 2D-Anzeigeeinheit auf der wenigstens ein Teil des Abbilds angezeigt wird. Hierbei kann die Auswerteeinheit beispielsweise einen programmierbaren Prozessor in Form eines Mikrocontrollers oder Nanocontrollers umfassen. Im automobilen Bereich werden solche Auswerteeinheiten auch als elektronische Steuergeräte (ECU) bezeichnet, wobei die Auswerteeinheit zur Aufbereitung von Bilddaten und zur Ansteuerung der Anzeigeeinheit (Bildschirm) neben Signalen des ersten und zweiten Umgebungssensors und des weiteren Umgebungssensors, nämlich insbesondere der 3D-Sensoranordnung und Signalen eines optional verwendbaren dritten Umgebungssensors auch weitere Signale, wie Fahrtgeschwindigkeit und Fahrtrichtung des Fahrzeugs berücksichtigen kann. Die 2D-Anzeigeeinheit kann beispielsweise als Matrix-Anzeige zur Montage in einem Armaturenbrett eines Fahrzeugs und/oder in einem Kombiinstrument eines Fahrzeugs vorgesehen sein. Für den ersten Umgebungssensor, den zweiten Umgebungssensor, den weiteren Umgebungssensor und insbesondere die 3D-Sensoranordnung und einen optional verwendbaren dritten Umgebungssensor gilt das in Verbindung mit dem erfindungsgemäßen Verfahren Gesagte entsprechend. Auf diese Weise ist das Fahrerassistenzsystem eingerichtet, die Merkmale, Merkmalskombinationen und die sich aus diesen ergebenden Vorteile entsprechend dem vorstehend beschriebenen erfindungsgemäßen Verfahren zu verwirklichen.
-
Die vorliegende Erfindung betrifft außerdem insbesondere ein Fahrzeug, das beispielsweise als PKW, als Transporter, als LKW, als Wasser- und/oder Luftfahrzeug ausgestaltet sein kann. Erfindungsgemäß weist das Fahrzeug ein vorstehend beschriebenes Fahrerassistenzsystem auf. Indem das Fahrzeug auf diese Weise dieselben Merkmale, Merkmalskombinationen und Vorteile verwirklicht, erhöht sich der Anwenderkomfort für den Anwender und die Verkehrssicherheit für alle im Bereich des Fahrzeugs befindlichen Verkehrsteilnehmer.
-
Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den Figuren. Es zeigen:
- 1 Komponenten eines Ausführungsbeispiels eines erfindungsgemäßen Fahrzeugs unter Berücksichtigung des erfindungsgemäßen Verfahrens;
- 2a, 2b, und 2c Schritte eines herkömmlichen Verfahrens zum Zusammenfügen von Teilbildern zu einem Abbild eines Umgebungsbereichs eines Fahrzeugs;
- 3a eine vereinfachte Darstellung der Komponenten des erfindungsgemäßen Fahrzeugs von 1 zusammen mit gesetzlich vorgeschriebenen Bereichen;
- 3b eine Artefakt behaftete Abbildung einer Fahrsituation;
- 4a, 4b und 4c jeweils nach dem erfindungsgemäßen Verfahren zu einem Abbild eines Umgebungsbereichs zusammengefügte Teilbilder;
- 5a einen vergrößerten Ausschnitt von 4a; und
- 5b eine Abwandlung von 5a.
-
1 zeigt Komponenten eines Ausführungsbeispiels eines erfindungsgemäßen Fahrzeugs 10 unter Berücksichtigung des erfindungsgemäßen Verfahrens mit dynamischen Fügelinien 6, 61 in Zusammenschau mit aus dem Stand der Technik nach
DE 10 2014 213 536 A1 bekannten statischen Fügelinien 60, 601.
-
Die Ausführung des Fahrzeugs 10 von 1 umfasst einen ersten als optische 2D-Außenkamera 1 ausgebildeten und an der Position des linken Außenrückspiegels angeordneten Umgebungssensor 1, einen zweiten als optische 2D-Außenkamera 2 ausgebildeten mittig am Fahrzeugheck angeordneten Umgebungssensor 2, einen dritten als optische 2D-Außenkamera 3 ausgebildeten und an der Position des rechten Außenrückspiegels angeordneten Umgebungssensor 3 und außerdem eine Sensoranordnung 20, die geeignet ausgebildet und angeordnet ist ein 3D-Abbild des von ihr erfassten Bereichs II des Umgebungsbereichs IV und insbesondere eines darin wenigstens teilweise befindlichen Objekts 11 zu erstellen.
Die somit als 3D- Sensoranordnung ausgebildete Sensoranordnung 20 ist dabei derart ausgebildet, dass ein mit ihr zusammenwirkendes Steuergerät 4 insbesondere auch eine Relativposition des Objekts 11 zu dem Fahrzeug 10 und/oder eine Relativbewegung des Objekts 11 zu dem Fahrzeug 10 und/oder eine Relativgeschwindigkeit des Objekts 11 zur Geschwindigkeit des Fahrzeugs 10 erfassen kann.
-
Der von der 2D-Außenkamera 1 erfasste Bereich I hat mit dem von der 2D-Außenkamera 2 erfassten Bereich II den von beiden Kameras 1 und 2 gemeinsam erfassten Bereich I/II und der von der 2D-Außenkamera 2 erfasste Bereich II hat mit dem von der 2D-Außenkamera 3 erfassten Bereich III den von beiden Kameras 2 und 3 gemeinsam erfassten Bereich II/III. Außerdem ist die Sensoranordnung 20 derart ausgebildet und angeordnet, dass der von ihr erfasste Bereich im Wesentlichen dem von der 2D-Außenkamera 2 erfassten Bereich II entspricht, so dass die Sensoranordnung 20 insbesondere auch die gemeinsam erfassten Bereiche I/II und II/III erfasst.
-
Die Sensoranordnung 20 kann wie vorstehend beschrieben geeigneter Weise eine Stereokamera und insbesondere ein Radarsensor oder Lidarsensor oder Ultraschallsensor sein.
-
Mit der vorstehenden Ausbildung und Anordnung der Umgebungssensoren 1, 2, 3 und der Sensoranordnung 20 läßt sich insbesondere ein rückseitig liegender Umgebungsbereich IV des Fahrzeugs 10 auch unter Berücksichtigung gesetzlicher Vorschriften abbilden, was nachfolgend unter Bezugnahme auf 3a beschrieben wird.
-
Die Signale der Kameras 1, 2, 3 und der Sensoranordnung 20 werden von dem Steuergerät 4 erfasst und zur Darstellung eines Abbilds IV' des Umgebungsbereichs IV auf einem 2D-Bildschirm verarbeitet. Bei der Verarbeitung der Signale und der entsprechenden Bildaufbereitung des angezeigten Abbilds IV' können dem Steuergerät 4 geeigneter Weise weitere Signale wie die Geschwindigkeit und/oder die Fahrtrichtung R10 des Fahrzeugs 10 zur Verfügung stehen. Der Pfeil B in 1 zeigt die Blickrichtung auf den Bildschirm 5 und der entgegengesetzt gerichtete Pfeil A zeigt die Sicht in Richtung auf den rückseitigen Umgebungsbereich IV insbesondere aus der Perspektive der Kameras 1, 2 und 3.
-
1 zeigt zum leichteren Verständnis der Anmeldung außerdem herkömmliche statische Fügelinien 60, 601 zusammen mit und im Vergleich zu erfindungsgemäßen dynamischen Fügelinien (Fügeebenen) 6, 61, die jeweils auf den Projektionsflächen 7, 8 und 9 zusammen mit den auf sie projizierten Teilbildern I', II' und III' des ersten I, zweiten II und dritten III Umgebungsbereichs entsprechende Fügelinien 6, 61 zur Zusammensetzung der Teilbilder I', II' und II I' zu einem Abbild IV' des Umgebungsbereichs IV bilden. Die dynamischen Fügelinien 6, 61 können dabei unter Berücksichtigung von Signalen der Sensoranordnung 20 vorteilhaft symmetrisch oder asymmetrisch zueinander entlang auch unterschiedlicher Richtungen R6, R61 verschoben sein und dabei insbesondere auch geneigt sein und auch an den Rand eines von der Sensoranordnung 20 erfassten Objekts 11 verschoben sein.
-
2a, 2b, und 2c zeigen jeweils Schritte des herkömmlichen Verfahrens unter Verwendung von statischen Fügelinien 60, 601 zum Zusammenfügen der Teilbilder I', II', III' zu dem Abbild IV' des Umgebungsbereichs IV eines Fahrzeugs 10, bei einer für die Anwendung des herkömmlichen Verfahrens geeigneten Fahrsituation und Umgebungssituation mit entsprechender Helligkeit des Umgebungsbereichs IV und entsprechend geeigneter Helligkeit, Position, Größe, Geschwindigkeit und Bewegungsrichtung des Objekts 11.
-
2a zeigt hierzu das Teilbild I' des ersten Teilbereichs I mit der ersten statischen Fügelinie 60, das entsprechend dem herkömmlichen Verfahren einer zur Entzerrung bedingt geeigneten Bildverarbeitung unterworfene und entsprechend entzerrte Teilbild II' des zweiten Teilbereichs II und das dritte Teilbild III' des dritten Teilbereichs III mit der zweiten statischen Fügelinie 601, die entsprechend symmetrisch zueinander angeordnet sind.
-
2b zeigt die zu einem Abbild IV' des Umgebungsbereichs IV an den statischen Fügelinien 60 und 601 jeweils zusammengesetzten Teilbilder I, II und III aus der Ansichtsrichtung A, also aus dem Fahrzeug 10 nach hinten gerichtet in Sichtrichtung der Kameras 1, 2, 3 und der Sensoranordnung 20.
-
2c zeigt schließlich eine gespiegelte Darstellung IV'(B) des Abbilds IV'(A) von 2b zur Darstellung auf dem Bildschirm 5 in dem Fahrzeug 10. Insbesondere das zweite Teilbild II' umfasst dabei einen datenleeren Bereich, der z.B. zur Darstellung eines Ausschnitts des Fahrzeugs 10 geeignet ist.
-
3a zeigt eine vereinfachte Darstellung der Komponenten des Ausführungsbeispiels eines erfindungsgemäßen Fahrzeugs 10 von 1 zusammen mit den insbesondere auch nach ECE-R46 derzeit gesetzlich vorgeschriebenen Bereichen mit dem gesetzlichen Sichtfeld G, wobei das gesetzliche Sichtfeld der Klasse 3 (Hauptaußenspiegel) nur jeweils durch die äußeren Kameras 1 oder 3 erkannt wird und das gesetzliche Sichtfeld der Klasse 1 (Innenspiegel) durch Kamera 1 und 3 oder Kamera 2 erfasst wird. Die Darstellung von 3a zeigt jeweils identische Bezugszeichen für gleiche Komponenten der Darstellung von 1, weshalb auf die diesbezügliche Beschreibung hier verzichtet wird und stattdessen auf die Beschreibung von 1 verwiesen wird.
-
3b zeigt eine Artefakt behaftete Abbildung einer Fahrsituation unter Verwendung des herkömmlichen Verfahrens mit der statischen Fügelinie 601 zwischen einem Teilbild II' und einem Teilbild III' mit einem verzerrten Objekt 11 und einer Abbildung eines Teils des Fahrzeugs 10 an der Position des datenleeren Bereichs 10. Die Abbildung von 3b zeigt eine Fahrsituation mit für das herkömmliche Verfahren ungeeigneten Bedingungen, wie eingeschränkte Helligkeit und/oder Sicht aufgrund beispielsweise schlechten Wetters, bei der ein Objekt 11 außerdem aufgrund seiner Position und/oder Größe und/oder Geschwindigkeit wie beispielsweise ein Motorradfahrer wie in 3 gezeigt, verzerrt dargestellt wird und in dem Bereich der Alpha-Blende beispielsweise bei linearem Ineinanderlaufen beider Bilder auch als kritisches Fahrzeug 11 verschwinden kann. Bei dem Versuch, diesem Effekt durch Erniedrigung der Alpha-Blende in Stärke (Prozent) und Strecke (wie breit die Blende im Bild wird), d.h. erhöhte Transparenz entgegen zu wirken, wird eine deutliche Trennung der Bilder erkennbar, was jedoch den Eindruck des Panoramas des Abbilds IV' zerstören würde.
-
4a, 4b und 4c zeigen jeweils Abbilder von Ausführungsbeispielen von nach dem erfindungsgemäßen Verfahren zu einem Abbild eines Umgebungsbereichs zusammengefügten Teilbildern, wobei wie bei 3b der Übersichtlichkeit halber die Bezugszeichen des ersten Teilbilds I' und der Fügelinie 6 nicht dargestellt sind. In den Abbildern von 4a, 4b und 4c sind jeweils wie in 3b das Fahrzeug 10 jeweils in dem datenleeren Bereich 12 insbesondere in dem Teilbild II' abgebildet.
-
4a zeigt hierzu eine Fahrsituation mit der an eine Seite des Objekts 11 in Richtung des Teilbilds III' verschobenen dynamischen Fügelinie 61, bei der das Objekt 11 lediglich von der Heckkamera 2 im Teilbild II' abgebildet ist.
-
4b zeigt hierzu eine Fahrsituation mit der nach innen in Richtung Bildmitte des zweiten Teilbilds II' verschobenen dynamischen Fügelinie 61, bei der das Objekt 11 lediglich von der Kamera 3 im Teilbild III' abgebildet ist.
-
4c zeigt hierzu eine Fahrsituation mit drei im Sichtfeld eines Umgebungsbereichs IV auftretenden Objekten 11, bei der die dynamische Fügelinie 61, zwischen die beiden von der Sensoranordnung 20 erfassten nähergelegenen Objekte 11 gelegt ist. Dabei sind die beiden nächstgelegenen Objekte 11 jeweils von Kamera 2 und 3 erfasst und dementsprechend jeweils in Teilbild II' und III' abgebildet, wohingegen das dritte weiter entfernt liegende Objekt 11 von der dynamischen Fügelinie 61 zerschnitten ist. Das Zerschneiden des weiter entfernt liegenden dritten Objekts 11 kann dabei vernachlässigt werden, nachdem das dritte Objekt 11 nicht im sicherheitsrelevanten Bereich liegt. Außerdem wird das dritte Objekt 11 den Bereich, in dem es zerschnitten wird, sehr schnell verlassen.
-
Schließlich wird bei der Positionierung der Fügelinie 61 zwischen den beiden im sicherheitsrelevanten Bereich liegenden Objekten 11 und der Darstellung dieser Objekte 11 jeweils lediglich im Teilbild II' bzw. III' die Hauptaufmerksamkeit des Fahrers auf diese beiden Objekte 11 gelenkt.
-
5a zeigt einen vergrößerten Ausschnitt von 4a lediglich mit dem Objekt 11, der Fügelinie 61 zwischen dem Teilbild II', in dem auch das Objekt 11 abgebildet ist, und dem Teilbild III', wobei die Fügelinie 61 wie in 4a eine gerade Linie ist, die an die Seite des Objekts 11 verschoben ist.
-
5b zeigt eine Abwandlung von 5a, bei der die Fügelinie 61 in Richtung nach innen zur Bildmitte in das Teilbild II' verschoben ist und außerdem in der Umgebung des Objekts 11 als n-eckiges Polygon ausgebildet ist, das sich an der Silhouette des Objekts 11 orientiert.
-
Bezugszeichenliste:
-
- 1
- erste Außenkamera (Pos.: linker Außenrückspiegel)
- 2
- zweite Außenkamera (heckseitige Position)
- 3
- dritte Außenkamera (Pos.: rechter Außenrückspiegel)
- 4
- Steuergerät
- 5
- Bildschirm
- 6, 61
- dynamische Fügelinie
- 60, 601
- statische Fügelinie
- 7, 8, 9
- Projektionsfläche
- 10
- Fahrzeug
- 11
- Fremdfahrzeug (Objekt)
- 12
- datenleerer Bereich
- 20
- Sensoranordnung
- R10, R11
- Fahrtrichtung
- R6, R61
- Verschiebung, Neigung
- G
- Gesetzliches Gesichtsfeld
- A, B
- Richtung (Ansicht)
- H
- Horizont
- I
- erster Teilbereich
- II
- zweiter Teilbereich
- III
- dritter Teilbereich
- IV
- Umgebungsbereich
- I/II
- erster gemeinsam erfasster Bereich
- II/III
- zweiter gemeinsam erfasster Bereich
- I'
- erstes Teilbild
- II'
- zweites Teilbild
- III'
- drittes Teilbild
- IV'
- Abbild des Umgebungsbereichs
