DE102019121502A1 - Fehlerrobuste Erfassung einer Fahrzeugumgebung - Google Patents

Fehlerrobuste Erfassung einer Fahrzeugumgebung Download PDF

Info

Publication number
DE102019121502A1
DE102019121502A1 DE102019121502.1A DE102019121502A DE102019121502A1 DE 102019121502 A1 DE102019121502 A1 DE 102019121502A1 DE 102019121502 A DE102019121502 A DE 102019121502A DE 102019121502 A1 DE102019121502 A1 DE 102019121502A1
Authority
DE
Germany
Prior art keywords
vehicle environment
system arrangement
control unit
mirror
deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019121502.1A
Other languages
English (en)
Inventor
Erwin Bay
Jonas Legl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102019121502.1A priority Critical patent/DE102019121502A1/de
Priority to CN202080056197.4A priority patent/CN114222684A/zh
Priority to US17/633,755 priority patent/US20220327671A1/en
Priority to PCT/EP2020/071720 priority patent/WO2021028245A1/de
Publication of DE102019121502A1 publication Critical patent/DE102019121502A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/80
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/22Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring angles or tapers; for testing the alignment of axes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur zuverlässigen und fehlerrobusten Auswertung einer visuell erfassten Fahrzeugumgebung. Erfindungsgemäß ist es möglich, dass eine Abweichung einer Kameraausrichtung aufgrund einer Krafteinwirkung auf einen die Kamera tragenden Außenspiegel vollautomatisiert kompensiert wird. Folglich kann das erfindungsgemäße Verfahren sogar während aktiver Fahrten im Feld eingesetzt werden und schafft einen Sicherheitsvorteil insbesondere bei autonomem Fahren. Ferner betrifft die vorliegende Erfindung eine entsprechend eingerichtete Systemanordnung. Darüber hinaus wird ein Computerprogrammprodukt mit Steuerbefehlen vorgeschlagen, welche das Verfahren implementieren beziehungsweise die vorgeschlagene Systemanordnung betreiben.

Description

  • Die Erfindung betrifft ein Verfahren zur zuverlässigen und fehlerrobusten Auswertung einer visuell erfassten Fahrzeugumgebung. Erfindungsgemäß ist es möglich, dass eine Abweichung einer Kameraausrichtung aufgrund einer Krafteinwirkung auf einen die Kamera tragenden Außenspiegel vollautomatisiert kompensiert wird. Folglich kann das erfindungsgemäße Verfahren sogar während aktiver Fahrten im Feld eingesetzt werden und schafft einen Sicherheitsvorteil insbesondere bei autonomem Fahren. Ein Aspekt der vorliegenden Erfindung ist das An- und Ausklappen der Außenspiegel. In Folge einer äußeren Krafteinwirkung und Verstellung wird der Spiegel gemäß einem Aspekt der vorliegenden Erfindung wieder in Ausgangslage zurückgefahren. Ferner betrifft die vorliegende Erfindung eine entsprechend eingerichtete Systemanordnung. Darüber hinaus wird ein Computerprogrammprodukt mit Steuerbefehlen vorgeschlagen, welche das Verfahren implementieren beziehungsweise die vorgeschlagene Systemanordnung betreiben.
  • DE 19 937 021 B4 zeigt einen um mindestens zwei Achsen verstellbaren Spiegel mit einer Sensoranordnung zur Erfassung der Spiegelstellung.
  • DE 195 19 619 A1 zeigt eine Justierautomatik für Außenspiegel von Fahrzeugen. Zur Justierung wird die Größe und Kopfhöhe erfasst und daraus die resultierenden Vertikalposition des Fahrzeugführer Augenbereichs errechnet um daran angepasst, die Spiegel kontinuierlich zu justieren.
  • DE 39 23 174 C2 zeigt eine elektrische Rückspiegelvorrichtung für ein Kraftfahrzeug. Diese umfasst ein Gehäuse und einen Spiegelkörper, der drehbar zum Gehäuse gelagert ist. Zudem weist die Rückspiegelvorrichtung eine Einrichtung zum Erfassen einer Lage des Spiegelkörpers auf. Hierbei sind stangenförmige Permanentmagnete vorgesehen, deren Lagen von zwei Hall-Magnet-Sensoren erfasst werden.
  • Aus dem Stand der Technik sind Anordnungen bekannt, welche beispielsweise einen Rückspiegel eines Kraftfahrzeugs vorsehen der mit Einrichtungen versehen ist, die entweder einen Spurwechsel anzeigen können oder ein Warnsignal aussenden können. Bei einem Blinker, der in einen Rückspiegel integriert ist, handelt es sich um eine herkömmliche Leuchte, welche mit einer drahtgebundenen Schnittstelle mit der Fahrzeugelektronik gekoppelt ist.
  • Ferner ist es bekannt, dass aufgrund einer Krafteinwirkung auf einen Außenspiegel dieser bezüglich seiner Position derart variiert werden kann, dass es zu einer fehlerhaften Ausrichtung kommt. Oftmals lassen sich Außenspiegel ausklappen bzw. einklappen und jeder dieser Vorgänge ist potentiell derart fehlerbehaftet, dass die Ausrichtung des Außenspiegels nach jedem Vorgang von einer Soll-Position abweicht. Darüber hinaus ist es möglich, dass aufgrund eines Unfalls eine Krafteinwirkung auf den Außenspiegel erfolgt. Typische Beispiele sind das Berühren des Außenspiegels einer Wand in einem Parkhaus bzw. ein Zusammenstoß des Außenspiegels mit einem Fahrradfahrer. Somit liegt nicht mehr die gewünschte Position des Außenspiegels vor und es kommt zu einer Abweichung, die gemäß herkömmlicher Verfahren manuell korrigiert wird.
  • Darüber hinaus sind Verfahren bekannt, welche den Außenspiegel ansteuern und ihn sodann physisch in die gewünschte Position versetzen. Hierzu sind aufwändige Verfahren notwendig, welche zudem davon abhängen, dass die Motorik des Spiegels noch intakt ist. Dies ist jedoch nicht immer gegeben.
  • Darüber hinaus sind Kamerasysteme bekannt, welche in dem Außenspiegel verbaut sind. So kann eine Außenkamera den Fahrer unterstützen und ein Bild einer Fahrzeugumgebung liefern. Da die Kameras typischerweise fest in dem Körper des Außenspiegels verbaut sind, variiert auch die Ausrichtung einer solchen Kamera mit der Position des Außenspiegels.
  • Generell erkennt der Stand der Technik zwar, dass eine Spiegelposition unerwünscht variieren kann, zeigt jedoch nur ungenügende Möglichkeiten die Spiegelposition zu korrigieren. Dies erfolgt typischerweise mittels eines physikalischen Nachjustierens, was jedoch technisch aufwendig ist.
  • Es ist eine Aufgabe der vorliegenden Erfindung, ein verbessertes, insbesondere zuverlässigeres, Verfahren zur Fehlerkompensation bei einer Bilderkennung, unter anderem eines Automobils oder Motorrads, vorzuschlagen. Die Bilderkennung soll auch bei einer Abweichung einer Kameraausrichtung aufgrund einer Krafteinwirkung, bzw. An- und Ausklappen, auf einen die Kamera tragenden Außenspiegel fehlerfrei und verlässlich durchgeführt werden können. Ferner ist es eine Aufgabe der vorliegenden Erfindung eine entsprechend eingerichtete Systemanordnung bereitzustellen sowie ein Computerprogrammprodukt mit Steuerbefehlen vorzuschlagen, welche das Verfahren implementieren beziehungsweise die vorgeschlagene Systemanordnung zumindest teilweise betreiben.
  • Die Aufgabe wird gelöst durch eine Systemanordnung mit den Merkmalen gemäß Patentanspruch 1. Weitere vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
  • Demgemäß wird eine Systemanordnung zur zuverlässigen und fehlerrobusten Auswertung einer visuell erfassten Fahrzeugumgebung vorgeschlagen, aufweisend eine Rückspiegelvorrichtung aufweisend mindestens einen Positionssensor eingerichtet zur Erfassung einer Positionsabweichung von einer voreingestellten Position; einen bildgebenden Sensor eingerichtet zur Erfassung der Fahrzeugumgebung und eine Datenschnittstelle eingerichtet zur Übertragung der Positionsabweichung und der erfassten Fahrzeugumgebung an eine Steuereinheit; und die Steuereinheit, welche eingerichtet ist, die erfasste Fahrzeugumgebung in Abhängigkeit der Positionsabweichung zu verarbeiten.
  • Das vorgeschlagene Verfahren bzw. die Systemanordnung ist effizient, da es nicht mehr notwendig ist, den Rückspiegel physisch in eine geeignete Position zu verbringen, bzw. kann der Spiegelkopf weiterhin in die Ausgangslage zurückgefahren werden. Es geht darum Abweichungen zu erkennen, ggf. den Antrieb zu aktivieren und lediglich Ungenauigkeiten ggü. der letzten gültigen Position auszugleichen. Vielmehr erfolgt erfindungsgemäß ein Verarbeiten des Signals, welches der bildgebende Sensor bereitstellt. Somit kann also das vorgeschlagene Verfahren derart ausgeführt werden, dass lediglich die ankommenden Daten verarbeitet werden müssen und nicht der Spiegel als solches neu ausgerichtet werden muss. Dies ist insbesondere deshalb zuverlässig, da bei einem Unfall nicht stets gewährleistet werden kann, dass der Motor des Spiegels funktioniert und somit ist es gemäß Stand der Technik nicht immer möglich die Position des Spiegels physisch anzupassen. Nach einem solchen Unfall darf nicht automatisiert weitergefahren werden. Dieser Nachteil wird erfindungsgemäß derart überwunden, dass der Spiegel in seiner Fehlstellung verbleiben kann und lediglich das Bild der Kamera verarbeitet bzw. angepasst werden muss.
  • Somit ist das vorgeschlagene Verfahren auch besonders fehlerrobust, da auch ein laufender Betrieb erfindungsgemäß derart unterstützt wird, dass falls der Spiegel bei laufender Fahrt verstellt wird, dieses auch automatisiert während der Fahrt dahingehend berücksichtigt wird, dass das Bild der verbauten Kamera angepasst wird. Auch ist es möglich nur geringe Verstellungen, bedingt durch an An-/ Ausklappen, zu kompensieren. Folglich ist es erfindungsgemäß möglich, die Fehlstellung des Spiegels und implizit die Fehlstellung der Kameraeinheit in Echtzeit auszugleichen. Oftmals ist der Spiegel nur minimal verstellt, was dazu führt, dass der Fahrer ein ausreichend gutes Bild im Rückspiegel erhält, die Kameraausrichtung ist jedoch insbesondere für ein autonomes Fahrer nicht mehr zu gebrauchen. Erfindungsgemäß kann also weiterhin ein autonomes Fahren unterstützt werden, auch wenn der Außenspiegel mitsamt der verbauten Kamera leicht verstellt ist.
  • Die vorgeschlagene Erfindung berücksichtigt insbesondere das autonome Verfahren, welches eine Vielzahl von bildgebenden Sensoren vorsieht. Diese Sensoren dienen unter anderem der Erkennung von Verkehrsschildern, Fahrbahnmarkierungen und anderer Verkehrsteilnehmer. Darüber hinaus sind entsprechende Sensoren kalibriert, was bedeutet, dass die verarbeitenden Komponenten genau ein bestimmtes Bild erwarten. Wird nunmehr die Kamera in ihrer Position variiert, so ist das variierte Bild gestört und kann nicht mehr verarbeitet werden bzw. wird gemäß dem Stand der Technik trotzdem verarbeitet und führt folglich zu falschen Ergebnissen.
  • Dies ist insbesondere dadurch erfindungsgemäß überwunden, dass das jeweilige Bild angepasst werden kann und somit kann die Kalibrierung fortbestehen. Typischerweise werden in beiden Außenspiegeln Kameras verbaut und bei einem Abweichen einer Ausrichtung einer Kamera können die Bilder von weiteren Sensoren nicht mehr überlagert werden. Erfindungsgemäß wird hier angesetzt und es wird das fehlerhafte Bild korrigiert.
  • Der Positionssensor erkennt hierzu, dass eine Fehleinstellung vorliegt und löst hierauf nicht aus, dass der Spiegel an sich physisch eingestellt wird, sondern vielmehr wird lediglich das Bild in Abhängigkeit der Fehleinstellung korrigiert.
  • Ein solches Verarbeiten der erfassten Fahrzeugumgebung kann derart erfolgen, dass eine Tabelle hinterlegt wird, die angibt, bei welcher Abweichung des Außenspiegels und somit der Kameraausrichtung welcher Korrekturparameter aufaddiert bzw. auf multipliziert werden muss. Die erfasste Fahrzeugumgebung wird folglich virtuell korrigiert und bildlich gesprochen wird das erzeugte Bild der Fahrzeugumgebung wieder in die richtige Position gerückt. Wie eine solche Korrektur erfolgen muss kann empirisch ermittelt werden und in einem Fahrzeugspeicher abgelegt werden. Folglich ist es zur Laufzeit möglich auf entsprechende Korrekturparameter zurückzugreifen und diese dynamisch anzuwenden.
  • Beispielsweise kann einem bestimmten Winkel einer Abweichung der Kameraausrichtung ein Versatz zugeordnet werden, der auf das resultierende Bild aufaddiert werden muss. Somit kann der Winkel der Kameraausrichtung bestimmt werden und das erfinderische Verfahren weiß folglich um wie viele Maßeinheiten das resultierende Bild sodann virtuell zu versetzen ist. Somit entsteht wiederum das gewünschte Bild und die weiteren Sensoren müssen nicht erneut kalibriert werden.
  • Die fehlerhafte Position kann sowohl horizontal als auch vertikal vorliegen und folglich ist das resultierende Bild der Fahrzeugumgebung eben auch vertikal und/ oder horizontal zu verschieben. Generell ist es auch möglich anhand der vertikalen und horizontalen Fehlausrichtung eine Drehung zu bestimmen, die angibt, wie das Bild zu verdrehen ist, damit das gewünschte bzw. erwartete Bild resultiert. Die vorgeschlagene Erfindung sieht folglich vor, dass ein Fehler in der Kameraausrichtung identifiziert wird und dieser Fehler wird invers auf das resultierende Bild angewendet.
  • Somit entsteht wieder das ursprüngliche Bild, ohne dass physische Komponenten physikalisch neu ausgerichtet werden müssen.
  • Die Erfassung der aktuellen Position des Außenspiegels kann derart erfolgen, dass der Lagesensor bzw. der Positionssensor ausgehend von einer Ausgangsstellung misst, wie lange sich der Außenspiegel in seine Endstellung bewegt. Ausgehend von der Beschleunigung des Spiegels und der Geschwindigkeit kann sodann anhand des Sensors gemessen werden, wie weit sich der Außenspiegel bewegt hat. Wird die Zeit bis zur Endstellung gemessen, kann eventuell nicht auf eine genaue Position geschlossen werden, sondern andere Einflüsse wie z.B. Spannung, Temperatur, Verschleiß etc. können berücksichtigt werden. Darüber hinaus ist es alternativ oder additiv möglich den Winkel zu berechnen gemäß dem der Außenspiegel bewegt wurde. Wird beispielsweise ein Außenspiegel eingeklappt so ist es möglich, dass er von der Ausgangsstellung in die Endposition um 90° gedreht werden muss. Dies kann erfasst werden und folglich kann auch gemessen werden, ob sich der Spiegel um die vollen 90° dreht oder ob eben ein kleinerer Wert maximal möglich ist. Dies kann dadurch verursacht werden, dass der Spiegel in Fahrtrichtung mit einem Gegenstand kollidiert und somit in Fahrtrichtung zum Fahrzeug hin gedrückt wird. Andernfalls ist es möglich, dass eine Krafteinwirkung entgegen der Fahrtrichtung erfolgt, beispielsweise, wenn das Fahrzeug abgestellt wird und ein Fußgänger gegen den Spiegel stößt. Sodann ist es auch möglich, dass der Spiegel in Fahrtrichtung gedreht wird und dass nunmehr ein Winkel von mehr als 90° notwendig ist um den Spiegel von seiner Ausgangsposition in die eingeklappte Stellung zu verbringen. Auf diese Art und Weise ist es erfindungsgemäß möglich die Position des Spiegels zu spezifizieren bzw. auszulesen. Der Sensor kann die aktuelle Position überwachen. Ein An-/ Ausklappvorgang kann zur Winkelmessung nicht nötig sein.
  • Die erfassten Werte können mit Werten korreliert werden, die angeben, wie sich diese veränderte Stellung des Außenspiegels auf das Kamerabild auswirkt. Wird nachfolgend der Spiegel wieder repariert und derart angepasst, dass er in die gewünschte Position zu verbringen ist, so ist es erfindungsgemäß möglich, dass auch dies der Positionssensor erfasst und sodann kann das System automatisch erneut kalibriert werden. Nach der Reparatur wird eine Neukalibrierung über mehrere Kilometer Fahrt vertretbar sein. Der Sensor erfasst in diesem Fall die neue Stellung und kann somit melden, dass wieder die Konfiguration vorliegt, wie sie werkseitig eingestellt wurde. Dies wird automatisch erkannt und sodann wird das Kamerabild entsprechend angepasst. Es erfolgt ggf. keine Einstellung im Werk der Kamera oder des Spiegels.
  • Insgesamt erfolgt also eine dynamische Anpassung des Kamerabilds, da beispielsweise bei einem Starten des Fahrzeugs stets die Position des Außenspiegels überprüft werden kann. In Abhängigkeit dieser Stellung wird sodann auch das Kamerabild angepasst und eine entsprechende Umgebung des Kraftfahrzeugs wird wieder richtig erfasst.
  • Die vorliegende Erfindung bietet unter anderem den Vorteil, dass ein entsprechendes Kamerasystem wartungsfrei ist und nicht bei jeder Veränderung des Außenspiegels manuell neu kalibriert werden muss. Die Kalibrierung erfolgt alternativ oder additiv automatisiert benötigt aber mehrere Kilometer Fahrt. Dies ist insbesondere bei einem autonomen Fahren notwendig, welches mittels des bildgebenden Sensors unter anderem eine Fahrbahnmarkierung erkennt. Ferner ist es möglich mit dem bildgebenden Sensor auch Fahrzeuge zu erkennen, welche das Fahrzeug überholen wollen und es können Überholvorgänge anderer Fahrzeuge erkannt werden. Somit wird erfindungsgemäß der Nachteil überwunden, dass ein herkömmliches System die autonome Steuerung des Fahrzeugs unterbrechen muss und erfindungsgemäß wird stets ein verlässliches Abbild der Umgebung geliefert.
  • Das vorgeschlagene Verfahren kann die Systemsteuerung auch derart regeln, dass das Verfahren iterativ durchgeführt wird und folglich wird stets die Stellung des Außenspiegels und somit die Kamerastellung überprüft und dynamisch zur Laufzeit angepasst. Die Stellung von Spiegel und Kamera wird ggf. nicht physisch angepasst. Die Software gleicht den vom Sensor gemessenen Fehler aus.
  • Gemäß einem Aspekt der vorliegenden Erfindung ist die Steuereinheit eingerichtet, die erfasste Fahrzeugumgebung im Rahmen eines autonomen Fahrens zu verarbeiten. Dies hat den Vorteil, dass die erfindungsgemäßen Vorteile besonders zur Geltung kommen. Generell kann das resultierende Bild der Fahrzeugumgebung auf einem Display angezeigt werden, wobei gerade das autonome Fahren eine zuverlässige Datenquelle benötigt. Somit ist es gerade hier vorteilhaft auf ein System zurückzugreifen, welches zu jeder Zeit, also auch in Echtzeit, verlässliche Daten der Fahrzeugumgebung liefert.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist die Steuereinheit eingerichtet, eine Bildverschiebung in der erfassten Fahrzeugumgebung in Abhängigkeit der Positionsabweichung, beispielsweise eine Drehung, um die Anklappachse zu erkennen und zu kompensieren. Dies hat den Vorteil, dass das Verarbeiten der Daten der Fahrzeugumgebung vollautomatisiert derart erfolgen kann, dass stets das gewünschte Bild zur Verfügung steht. Somit können Fehler, die aus der Kameraausrichtungsabweichung resultieren automatisiert behoben werden und folglich kann ein sicheres autonomes Fahren gewährleistet werden.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist eine Wiedergabeeinheit vorgesehen, welche die erfasste Fahrzeugumgebung verarbeitet ausgibt. Dies hat den Vorteil, dass auch dem Fahrer die korrigierte Information bereitgestellt werden kann und somit kann er die korrigierte Information auf einem Bildschirm angezeigt bekommen oder diese Information wird in die Frontscheibe eingeblendet.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist der Positionssensor eingerichtet, die Positionsabweichung in Abhängigkeit eines Ausrichtungswinkels der Rückspiegelvorrichtung zu erkennen. Dies hat den Vorteil, dass die Position des Rückspiegels mit der Position der Kamera gekoppelt ist und somit ist es zu jedem Zeitpunkt bekannt, welche Auswirkungen eine Positionsabweichung des Rückspiegels auf die Kameraeinstellung hat. Generell kann gemäß einem Aspekt der vorliegenden Erfindung zwischen Spiegelkopf- und -glas unterschieden werden.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist die Steuereinheit eingerichtet, eine Bildverschiebung in Abhängigkeit der Positionsabweichung zu erkennen und die Koordinaten der in der Fahrzeugumgebung erfassten Merkmale zu korrigieren. Neben der Korrektur des Bildes (Verschiebung, Verdrehung) können auch die auf dem Bild bestimmten Merkmale (Objekte, Fußgänger) in ihren Koordinaten korrigiert werden. Technisch gesehen würde die vorherige Kalibrierung der Kamera korrigiert und damit die Koordinaten der detektierten Merkmale.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung entspricht die voreingestellte Position einer Werkseinstellung und/ oder einer kalibrierten Position.
  • Dies hat den Vorteil, dass das Fahrzeug lediglich einmal bezüglich der Sensorik kalibriert werden muss, beispielsweise bei der Auslieferung, und weitere Kalibrierungen werden automatisiert durchgeführt. So kann werkseitig das Fahrzeug eingestellt werden und sollten nach der Inbetriebnahme Abweichungen bezüglich der Kameraposition vorhanden sein, so korrigierte das Fahrzeug entsprechende Abweichungen automatisiert. Eine neue Kalibrierung ist nicht notwendig.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist der bildgebende Sensor in einer Umgebungskamera integriert. Dies hat den Vorteil, dass auch herkömmliche Kamerasysteme erfindungsgemäß wiederverwendet werden können und erfindungsgemäß muss lediglich das resultierende Bild angepasst werden. Somit ist es möglich mit geringem technischem Aufwand die Umgebungsinformationen zu aktualisieren und bestehende Fahrzeuge können entsprechend einfach nachgerüstet werden.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung liegt die Datenschnittstelle als eine kabelgebundene Schnittstelle und/ oder eine Luftschnittstelle vor. Dies hat den Vorteil, dass die Daten entweder über einen physischen Kontakt, also eine Leitung, übermittelt werden können oder aber es wird eine Funkverbindung zwischen der Elektronik des Außenspiegels und der Steuereinheit hergestellt. Weiterhin ist es möglich beide Übertragungstechniken gleichzeitig zu verwenden oder diese zu priorisieren. So kann bevorzugt die Übertragung kabelgebunden erfolgen und falls eine kabelgebundene Übertragung nicht vorliegt, kann eine drahtlose Übertragung gewährleistet werden. Dies nimmt insbesondere auf das Anwendungsszenario Bezug, in dem ein Unfall den Außenspiegel verdreht und folglich ist es möglich, dass auch eine kabelgebundene Leitung abbricht. Sodann steht erfindungsgemäß eine drahtlose Verbindung zur Verfügung.
  • Die Aufgabe wird auch gelöst durch ein Verfahren zur zuverlässigen und fehlerrobusten Auswertung einer visuell erfassten Fahrzeugumgebung, aufweisend ein Erfassen einer Positionsabweichung einer Rückspiegelvorrichtung aufweisend mindestens einen Positionssensor von einer voreingestellten Position; ein Erfassen der Fahrzeugumgebung mittels eines bildgebenden Sensors, der in der Rückspiegelvorrichtung integriert ist; ein Übertragen der Positionsabweichung und der erfassten Fahrzeugumgebung an eine Steuereinheit; und ein Verarbeiten der erfassten Fahrzeugumgebung durch die Steuereinheit in Abhängigkeit der Positionsabweichung.
  • Die Aufgabe wird auch gelöst durch ein Computerprogrammprodukt mit Steuerbefehlen, welche das Verfahren ausführen und die vorgeschlagene Anordnung betreiben, wenn sie auf einem Computer zur Ausführung gebracht werden.
  • Erfindungsgemäß ist es besonders vorteilhaft, dass das Verfahren zum Betreiben der vorgeschlagenen Vorrichtungen und Einheiten bzw. der Systemanordnung verwendet werden kann. Ferner eignen sich die vorgeschlagenen Vorrichtungen und Einrichtungen zur Ausführung des erfindungsgemäßen Verfahrens. Somit implementiert jeweils die Vorrichtung strukturelle Merkmale, welche geeignet sind, das entsprechende Verfahren auszuführen. Die strukturellen Merkmale können jedoch auch als Verfahrensschritte ausgestaltet werden. Auch hält das vorgeschlagene Verfahren Schritte zur Umsetzung der Funktion der strukturellen Merkmale bereit.
  • Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen Aspekte der Erfindung im Einzelnen beschrieben sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein. Ebenso können die vorstehend genannten und die hier weiter ausgeführten Merkmale je für sich oder zu mehreren in beliebigen Kombinationen Verwendung finden. Die gezeigten und beschriebenen Ausführungsformen sind nicht als abschließend zu verstehen, sondern haben beispielhaften Charakter zur Erläuterung der Erfindung. Die detaillierte Beschreibung dient der Information des Fachmanns, daher werden bei der Beschreibung bekannte Schaltungen, Strukturen und Verfahren nicht im Detail gezeigt oder erläutert, um das Verständnis der vorliegenden Beschreibung nicht zu erschweren. In der Figur zeigt:
    • 1: ein schematisches Ablaufdiagramm eines Verfahrens zur zuverlässigen und fehlerrobusten Auswertung einer visuell erfassten Fahrzeugumgebung gemäß einem Aspekt der vorliegenden Erfindung.
  • 1 zeigt in einem schematischen Ablaufdiagramm ein Verfahren zur zuverlässigen und fehlerrobusten Auswertung einer visuell erfassten Fahrzeugumgebung, aufweisend ein Erfassen 100 einer Positionsabweichung einer Rückspiegelvorrichtung aufweisend mindestens einen Positionssensor von einer voreingestellten Position; ein Erfassen 101 der Fahrzeugumgebung mittels eines bildgebenden Sensors, der in der Rückspiegelvorrichtung integriert ist; ein Übertragen 102 der Positionsabweichung und der erfassten Fahrzeugumgebung an eine Steuereinheit; und ein Verarbeiten 103 der erfassten Fahrzeugumgebung durch die Steuereinheit in Abhängigkeit der Positionsabweichung.
  • Da die Verfahrensschritte analog den funktionalen Eigenschaften der entsprechenden strukturellen Merkmale der Systemanordnung ausgestaltet sind, kann das Diagramm gemäß der vorliegenden Figur auch als Blockdiagramm der Systemanordnung interpretiert werden, wobei jedem Verfahrensschritt eine entsprechende Komponente der Systemanordnung zugeordnet wird.
  • Der Fachmann erkennt hierbei, dass die Schritte weitere Unterschritte aufweisen können und insbesondere, dass die Verfahrensschritte jeweils iterativ und/ oder in anderer Reihenfolge ausgeführt werden können.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 19937021 B4 [0002]
    • DE 19519619 A1 [0003]
    • DE 3923174 C2 [0004]

Claims (10)

  1. Systemanordnung zur zuverlässigen und fehlerrobusten Auswertung einer visuell erfassten Fahrzeugumgebung, aufweisend: - eine Rückspiegelvorrichtung aufweisend mindestens einen Positionssensor eingerichtet zur Erfassung (100) einer Positionsabweichung von einer voreingestellten Position; einen bildgebenden Sensor eingerichtet zur Erfassung (101) der Fahrzeugumgebung und eine Datenschnittstelle eingerichtet zur Übertragung (102) der Positionsabweichung und der erfassten Fahrzeugumgebung an eine Steuereinheit; und - die Steuereinheit, welche eingerichtet ist, die erfasste Fahrzeugumgebung in Abhängigkeit der Positionsabweichung zu verarbeiten (103).
  2. Systemanordnung nach Anspruch 1, dadurch gekennzeichnet, dass die Steuereinheit eingerichtet ist, die erfasste Fahrzeugumgebung im Rahmen eines autonomen Fahrens zu verarbeiten.
  3. Systemanordnung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Steuereinheit eingerichtet ist, eine Bildverschiebung in Abhängigkeit der Positionsabweichung zu erkennen und das Bild entsprechend zu kompensieren.
  4. Systemanordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuereinheit eingerichtet ist, eine Bildverschiebung in Abhängigkeit der Positionsabweichung zu erkennen und die Koordinaten der in der Fahrzeugumgebung erfassten Merkmale zu korrigieren.
  5. Systemanordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Wiedergabeeinheit vorgesehen ist, welche die erfasste Fahrzeugumgebung verarbeitet (103) ausgibt.
  6. Systemanordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Positionssensor eingerichtet ist, die Positionsabweichung in Abhängigkeit eines Ausrichtungswinkels der Rückspiegelvorrichtung zu erkennen.
  7. Systemanordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die voreingestellte Position einer Werkseinstellung und/ oder einer kalibrierten Position entspricht.
  8. Systemanordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Datenschnittstelle als eine kabelgebundene Schnittstelle und/ oder eine Luftschnittstelle vorliegt.
  9. Verfahren zur zuverlässigen und fehlerrobusten Auswertung einer visuell erfassten Fahrzeugumgebung, aufweisend: - Erfassen (100) einer Positionsabweichung einer Rückspiegelvorrichtung aufweisend mindestens einen Positionssensor von einer voreingestellten Position; - Erfassen (101) der Fahrzeugumgebung mittels eines bildgebenden Sensors, der in der Rückspiegelvorrichtung integriert ist; - Übertragen (102) der Positionsabweichung und der erfassten Fahrzeugumgebung an eine Steuereinheit; und - Verarbeiten (103) der erfassten Fahrzeugumgebung durch die Steuereinheit in Abhängigkeit der Positionsabweichung.
  10. Computerprogrammprodukt mit Steuerbefehlen, welche das Verfahren nach Anspruch 9 ausführen, wenn sie auf einem Computer zur Ausführung gebracht werden.
DE102019121502.1A 2019-08-09 2019-08-09 Fehlerrobuste Erfassung einer Fahrzeugumgebung Pending DE102019121502A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102019121502.1A DE102019121502A1 (de) 2019-08-09 2019-08-09 Fehlerrobuste Erfassung einer Fahrzeugumgebung
CN202080056197.4A CN114222684A (zh) 2019-08-09 2020-07-31 车辆周围环境的错误鲁棒的检测
US17/633,755 US20220327671A1 (en) 2019-08-09 2020-07-31 Error-Robust Capture of Vehicle Surroundings
PCT/EP2020/071720 WO2021028245A1 (de) 2019-08-09 2020-07-31 Fehlerrobuste erfassung einer fahrzeugumgebung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019121502.1A DE102019121502A1 (de) 2019-08-09 2019-08-09 Fehlerrobuste Erfassung einer Fahrzeugumgebung

Publications (1)

Publication Number Publication Date
DE102019121502A1 true DE102019121502A1 (de) 2021-02-11

Family

ID=71995968

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019121502.1A Pending DE102019121502A1 (de) 2019-08-09 2019-08-09 Fehlerrobuste Erfassung einer Fahrzeugumgebung

Country Status (4)

Country Link
US (1) US20220327671A1 (de)
CN (1) CN114222684A (de)
DE (1) DE102019121502A1 (de)
WO (1) WO2021028245A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020112289A1 (de) 2020-05-06 2021-11-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Kalibrieren eines Umfeldsensors eines Fahrzeugs mit unmittelbarer Validierung sowie Recheneinrichtung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004050181A1 (de) * 2003-10-27 2005-06-09 Ford Global Technologies, LLC, Dearborn Aktives Nachtsichtsystem mit adaptiver Bildgebung
US20120123638A1 (en) * 1997-04-02 2012-05-17 Bechtel Jon H System for controlling vehicle equipment
US20170327039A1 (en) * 2015-02-10 2017-11-16 JVC Kenwood Corporation Display control device and display system

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0629002B2 (ja) 1988-07-13 1994-04-20 株式会社東海理化電機製作所 自動車用電動ミラー装置
DE19519619A1 (de) 1995-05-29 1996-12-05 Henry Tunger Statische sowie kontinuierliche Reflexionswinkel-Justierautomatik für Außen-/Innenspiegel mehrspuriger Kraftfahrzeuge
DE19937021B4 (de) 1999-08-05 2007-02-01 Daimlerchrysler Ag Spiegel mit Sensorarray zur Erfassung der Spiegelstellung
JP3979330B2 (ja) * 2003-04-02 2007-09-19 トヨタ自動車株式会社 車両用画像表示装置
US7949486B2 (en) * 2005-10-28 2011-05-24 Hi-Key Limited Method and apparatus for calibrating an image capturing device, and a method and apparatus for outputting image frames from sequentially captured image frames with compensation for image capture device offset
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
DE102010005638A1 (de) * 2010-01-25 2011-07-28 Valeo Schalter und Sensoren GmbH, 74321 Verfahren zum Anzeigen zumindest eines Bildes einer Fahrzeugumgebung auf einer Anzeigeeinrichtung in einem Fahrzeug. Fahrerassistenzeinrichtung für ein Fahrzeugund Fahrzeug mit einer Fahrerassistenzeinrichtung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120123638A1 (en) * 1997-04-02 2012-05-17 Bechtel Jon H System for controlling vehicle equipment
DE102004050181A1 (de) * 2003-10-27 2005-06-09 Ford Global Technologies, LLC, Dearborn Aktives Nachtsichtsystem mit adaptiver Bildgebung
US20170327039A1 (en) * 2015-02-10 2017-11-16 JVC Kenwood Corporation Display control device and display system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020112289A1 (de) 2020-05-06 2021-11-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Kalibrieren eines Umfeldsensors eines Fahrzeugs mit unmittelbarer Validierung sowie Recheneinrichtung

Also Published As

Publication number Publication date
US20220327671A1 (en) 2022-10-13
CN114222684A (zh) 2022-03-22
WO2021028245A1 (de) 2021-02-18

Similar Documents

Publication Publication Date Title
EP1520184B1 (de) Verfahren und vorrichtung zur kalibrierung von sensoren im kraftfahrzeug
EP1797534B1 (de) Verfahren für die erfassung einer optischen struktur
EP1803092A1 (de) Einrichtung für die kalibrierung eines bildsensorsystems in einem kraftfahrzeug
DE102017206295B3 (de) Verfahren, Vorrichtung und Computerprogramm zum Kalibrieren einer Fahrzeugkamera eines Fahrzeugs
DE10229336A1 (de) Verfahren und Vorrichtung zur Kalibrierung von Bildsensorsystemen
DE102010049093A1 (de) Verfahren zum Betreiben zumindest eines Sensors eines Fahrzeugs und Fahrzeug mit zumindest einem Sensor
DE102017201838A1 (de) Erkennung von Straßenunebenheiten anhand einer Situationsanalyse
DE102010005638A1 (de) Verfahren zum Anzeigen zumindest eines Bildes einer Fahrzeugumgebung auf einer Anzeigeeinrichtung in einem Fahrzeug. Fahrerassistenzeinrichtung für ein Fahrzeugund Fahrzeug mit einer Fahrerassistenzeinrichtung
DE102014226020A1 (de) Verfahren und Vorrichtung zur Kalibrierung mindestens einer mobilen Sensoreinrichtung
WO2016004947A2 (de) Vorrichtung zur entfernungsmessung, fahrzeug und verfahren
DE102015218033B4 (de) Verfahren zur Verbesserung der rückwärtigen Sicht in einem Kraftfahrzeug
EP2947601A1 (de) Verfahren und vorrichtung zum ermitteln einer fahrzeugposition eines fahrzeuges gegenüber einer referenzposition
WO2021028245A1 (de) Fehlerrobuste erfassung einer fahrzeugumgebung
DE102013103953B4 (de) Spurerkennung bei voller Fahrt unter Verwendung mehrerer Kameras
DE102015006571A1 (de) Vorrichtung und Verfahren zur Ermittlung einer Verwindung einer Karosserie und/oder eines Fahrgestells
DE102015009657A1 (de) Verfahren zur Kalibrierung und Verfahren zur Justierung einer an einem Fahrzeug angeordneten Kamera
DE102016225579B4 (de) Verfahren zum Betreiben einer Sensoreinrichtung eines Kraftfahrzeugs und Kraftfahrzeug
DE102006047629A1 (de) Verfahren zur Ermittlung von Objektparametern eines Fußgängers
DE102010062297B4 (de) Verfahren zur Kalibrierung einer Videokamera in oder an einem Fahrzeug
DE102018002004A1 (de) Verfahren zur Kalibrierung eines Sensors
EP3301646B1 (de) Kamerasystem und fahrzeug umfassend ein derartiges kamerasystem
DE102018207756B3 (de) Verfahren zum Bereitstellen einer vorgegebenen Abbildung von einer Fahrzeugumgebung eines Kraftfahrzeugs, Kamerasystem für ein Kraftfahrzeug sowie Kraftfahrzeug mit einem derartigen Kamerasystem
DE102015008552A1 (de) Vorrichtung und Verfahren zur Überwachung von extrinsischen Parametern eines Sensors
DE102011000316B4 (de) Verfahren für die Kalibrierung einer vertikalen Hell-Dunkel-Grenze sowie Fahrzeuge mit einer variierbaren Hell-Dunkel-Grenze
EP1550983A1 (de) Vorrichtung zur Kalibrierung eines Bildsensorsystems

Legal Events

Date Code Title Description
R163 Identified publications notified